콘텐츠 대표 이미지 - 영상 압축 알고리즘의 끝판왕: H.265/HEVC 코덱, 너도 구현할 수 있어!

영상 압축 알고리즘의 끝판왕: H.265/HEVC 코덱, 너도 구현할 수 있어!

4K 영상 용량에 헉! 했던 당신을 위한 압축의 마법, HEVC의 모든 것을 파헤쳐 보자! 🚀

들어가며: 영상의 시대, 압축은 선택이 아닌 필수! 🎬

안녕! 오늘 우리는 좀 딥(Deep)한 주제로 떠나볼 거야. 바로 '영상 압축'의 세계로 말이지. 요즘 누가 텍스트만 봐? 유튜브, 넷플릭스, 틱톡, 인스타그램 릴스까지... 세상은 온통 영상으로 가득 차 있잖아. 그런데 혹시 이런 생각해 본 적 없어? "내가 찍은 10분짜리 4K 영상은 왜 이렇게 용량이 크지?", "넷플릭스는 어떻게 그 고화질 영상을 버퍼링 없이 쏴주는 걸까?"

그 비밀의 중심에는 바로 '코덱(Codec)'이라는 마법사가 숨어있어. 특히 오늘 우리가 만날 주인공은 현존하는 가장 효율적인 마법사 중 하나인 H.265, 다른 이름으로는 HEVC(High Efficiency Video Coding)야. 이름부터 '고효율'이잖아? 얼마나 대단한 녀석인지 감이 오지? 😉

이 글은 단순한 이론 나열이 아니야. 개발자의 시각에서, 친구에게 설명하듯 HEVC의 핵심 원리를 속속들이 파헤치고, 실제로 어떻게 코드 레벨에서 구현되는지까지 맛보는 여정이 될 거야. "으, 너무 어려운 거 아냐?" 싶을 수도 있지만 걱정 마. 내가 있잖아! 최대한 쉽고 재미있게, 때로는 비유를 섞어가며 너의 뇌에 HEVC를 착! 붙여줄게. 이 지식을 마스터하면 너는 영상 처리, 스트리밍 서비스, 미디어 콘텐츠 개발 분야에서 한 단계 더 성장할 수 있을 거야. 자, 그럼 심호흡 한번 하고, 압축의 세계로 다이빙할 준비됐어? 가보자고! 🏊‍♂️

1장: 코덱, 너 대체 정체가 뭐니? 🤔

본격적으로 HEVC를 만나기 전에, 우리는 '코덱'이라는 녀석과 먼저 친해져야 해. 코덱은 사실 두 단어의 합성어야. '코더(Coder)'와 '디코더(Decoder)'. 합쳐서 코덱(Codec)!

쉽게 말해볼까? 여기 엄청나게 두꺼운 소설책이 있어. 이걸 친구한테 택배로 보내려니 부피도 크고 무게도 많이 나가서 택배비가 장난 아니야. 그래서 넌 머리를 썼지. 소설의 핵심 내용만 요약하고, 반복되는 표현은 기호로 바꾸고, 자주 나오는 단어는 줄임말로 만들어서 딱 한 장의 종이에 정리했어. 이게 바로 '인코딩(Encoding)', 즉 압축이야. 코더가 하는 일이지.

친구는 이 한 장짜리 요약본을 받았어. 근데 그냥 보면 암호문 같아서 무슨 말인지 모르겠지? 그래서 네가 미리 알려준 규칙(기호는 이런 뜻이고, 줄임말은 원래 이 단어야~)에 따라 요약본을 다시 원래의 두꺼운 소설책 내용으로 복원했어. 이게 바로 '디코딩(Decoding)', 즉 압축 해제야. 디코더가 하는 일이지.

영상 코덱도 똑같아. 원본 영상(엄청 큰 소설책)을 작게 만드는(요약본) 과정이 인코딩, 그리고 그걸 다시 우리가 볼 수 있는 영상으로 풀어주는(소설책 복원) 과정이 디코딩인 거지. 이 모든 규칙과 기술의 집합체를 '코덱'이라고 부르는 거야.

📚 용어 사전: 무손실 압축 vs 손실 압축

압축에는 크게 두 가지 방식이 있어.
1. 무손실 압축(Lossless Compression): 원본 데이터를 100% 완벽하게 복원할 수 있는 압축이야. ZIP 파일 같은 게 대표적이지. 텍스트 파일의 글자 하나라도 바뀌면 큰일 나니까! 하지만 압축률이 높지는 않아.
2. 손실 압축(Lossy Compression): 사람이 잘 인지하지 못하는 부분을 과감하게 '삭제'해서 압축률을 극대화하는 방식이야. MP3, JPG, 그리고 우리가 다룰 대부분의 영상 코덱이 여기에 속해. 원본과 100% 똑같이 복원되진 않지만, 우리 눈과 귀로는 그 차이를 거의 느끼기 힘든 수준에서 엄청난 용량을 줄여주지. HEVC는 바로 이 손실 압축의 끝판왕이라고 할 수 있어.

영상 압축의 3대 원리: 중복성을 제거하라!

그럼 영상 코덱은 도대체 어떻게 이 거대한 영상 데이터를 줄이는 걸까? 핵심은 '중복성(Redundancy) 제거'에 있어. 영상 데이터 안에는 생각보다 쓸데없이 반복되는 정보가 엄청나게 많거든. 코덱은 이 중복성을 귀신같이 찾아내서 없애버리는 거야. 크게 세 가지 중복성이 있어.

1. 공간적 중복성 (Spatial Redundancy)
한 장의 이미지(프레임) 안에서의 중복성이야. 파란 하늘을 찍은 사진을 생각해 봐. 수많은 픽셀이 거의 다 똑같은 파란색이지? 이걸 일일이 "1번 픽셀은 파란색, 2번 픽셀도 파란색, 3번도..." 이렇게 저장할 필요가 있을까? "여기서부터 저기까지는 다 비슷한 파란색이야!"라고 한 번에 알려주는 게 훨씬 효율적이겠지. 이게 바로 공간적 중복성을 제거하는 원리야. HEVC에서는 이걸 '인트라 예측(Intra Prediction)'이라는 기술로 처리해. 현재 블록의 픽셀 값을 이미 처리된 주변 블록의 픽셀을 이용해 예측하는 거지.

2. 시간적 중복성 (Temporal Redundancy)
영상은 여러 장의 이미지가 연속으로 이어져 있는 거잖아. 프레임과 프레임 사이의 중복성을 말해. 내가 가만히 서서 말하는 영상을 찍는다고 생각해 봐. 내 입과 눈은 조금씩 움직이지만, 뒤에 있는 벽이나 책장은 거의 변하지 않지? 그럼 다음 프레임을 저장할 때 "배경은 이전 프레임이랑 똑같고, 입 모양만 요렇게 바뀌었어"라고 알려주면 되는 거야. 굳이 똑같은 배경을 또 저장할 필요가 없지. 이게 시간적 중복성 제거고, '인터 예측(Inter Prediction)' 또는 '움직임 예측/보상(Motion Estimation/Compensation)'이라는 기술로 구현돼. 영상 압축률을 높이는 데 가장 결정적인 역할을 하는 부분이야! 🤯

3. 통계적 중복성 (Statistical Redundancy)
데이터의 발생 빈도를 분석해서 처리하는 중복성이야. 예를 들어, 어떤 데이터 덩어리에 'A'라는 값이 100번 나오고 'Z'라는 값은 1번만 나온다고 해보자. 그럼 자주 나오는 'A'에는 '0'처럼 짧은 코드를 할당하고, 거의 안 나오는 'Z'에는 '11110000'처럼 긴 코드를 할당하는 거야. 그럼 전체 데이터의 길이가 확 줄어들겠지? 이런 방식을 '엔트로피 코딩(Entropy Coding)'이라고 해. HEVC에서는 CABAC(Context-Adaptive Binary Arithmetic Coding)이라는 아주 정교한 엔트로피 코딩 기술을 사용해.

자, 어때? 코덱이 단순히 파일을 작게 만드는 마법이 아니라, 이렇게 체계적이고 과학적인 원리로 동작한다는 게 느껴지지? 이 세 가지 중복성 제거 원리만 머릿속에 넣어두면, 앞으로 나올 HEVC의 기술들을 이해하기가 훨씬 수월해질 거야.

2장: H.264 vs H.265(HEVC) - 압축률 2배의 비밀 📈

HEVC가 등장하기 전, 영상 코덱의 왕좌는 H.264/AVC(Advanced Video Coding)가 차지하고 있었어. 지금도 유튜브, 아프리카TV 등 수많은 곳에서 쓰이는 아주 훌륭한 코덱이지. 그런데 기술은 계속 발전하잖아? HD에서 Full HD로, 이제는 4K, 8K UHD 시대로 넘어가면서 H.264만으로는 감당하기 힘들어졌어. 더 높은 압축 효율이 필요해진 거지.

그래서 2013년, ITU-T와 ISO/IEC가 손을 잡고 H.264의 공식 후계자인 H.265/HEVC를 발표했어. HEVC의 목표는 명확했어. "H.264와 동일한 화질에서 비트레이트(용량)를 절반으로 줄이자!". 그리고 그 목표를 멋지게 달성했지. 과연 어떤 마법을 부렸길래 이게 가능했을까? 지금부터 그 비밀을 하나씩 파헤쳐 보자.

핵심 차이점 1: 블록 구조의 혁신 - 매크로블록에서 코딩 트리 유닛(CTU)으로

H.264와 HEVC의 가장 근본적인 차이점은 바로 영상을 나누는 기본 단위, 즉 블록 구조에 있어.

H.264는 이미지를 매크로블록(Macroblock)이라는 고정된 16x16 픽셀 크기의 정사각형으로 쪼개서 처리했어. 이건 HD(1920x1080) 시절까지는 나름 괜찮은 방식이었지. 하지만 4K(3840x2160) 같은 고해상도 영상으로 오면 문제가 생겨. 4K 영상에서 16x16 블록은 너무 작아서, 하늘이나 벽처럼 넓고 평탄한 영역을 표현하기에 비효율적이었던 거야. 수많은 16x16 블록에 대해 "여기도 하늘, 저기도 하늘..." 하고 반복해서 정보를 알려줘야 했으니까.

HEVC는 이 문제를 해결하기 위해 코딩 트리 유닛(Coding Tree Unit, CTU)이라는 새로운 개념을 도입했어. CTU는 16x16뿐만 아니라 32x32, 그리고 최대 64x64 픽셀까지 훨씬 더 큰 블록을 기본 단위로 사용할 수 있어. 그리고 더 중요한 건, 이 CTU를 마치 나무(Tree)처럼 재귀적으로 더 작은 단위로 쪼갤 수 있다는 거야. 이걸 쿼드트리(Quad-tree) 분할이라고 해.

예를 들어, 4K 영상에 드넓은 하늘과 복잡한 숲이 같이 있다고 상상해 봐.
- 하늘 영역: 변화가 거의 없으니 "이 부분은 64x64 크기의 큰 블록 하나로 퉁치자!"라고 처리해. 정보량이 확 줄어들겠지? 👍
- 숲 영역: 나뭇잎, 가지 등 디테일이 복잡하니까 64x64 CTU를 32x32로, 또 어떤 부분은 16x16, 더 복잡하면 8x8까지 잘게 쪼개서 정밀하게 처리하는 거야.

이렇게 영상의 특성에 따라 블록 크기를 유연하게 조절함으로써, HEVC는 H.264보다 훨씬 더 효율적으로 영상을 분석하고 압축할 수 있게 된 거지. 이게 바로 압축률 2배의 비밀 중 가장 큰 부분을 차지하는 혁신이야!

H.264 매크로블록 vs H.265 코딩 트리 유닛(CTU) 비교 H.264: 고정된 16x16 매크로블록 단순/복잡 영역 모두 16x16으로 분할 고해상도에서 비효율적 H.265/HEVC: 유연한 쿼드트리 구조 (최대 64x64) ← 64x64 CTU 단순 영역 (32x32) 단순 영역 (32x32) 조금 복잡 (32x32) 복잡 (16x16) 매우 복잡 (8x8) 영상 특성에 맞춰 블록 크기 최적화 압축 효율 극대화

핵심 차이점 2: 예측(Prediction) 기술의 고도화

블록 구조가 유연해진 만큼, 그 블록의 내용을 예측하는 기술도 훨씬 더 정교해졌어.

인트라 예측 (Intra Prediction)
앞서 설명한 공간적 중복성 제거 기술 기억나지? H.264는 현재 블록을 예측하기 위해 주변 픽셀을 참고할 때, 9가지 방향(모드)만 사용했어. 수직, 수평, 대각선 등... 꽤 제한적이었지.

하지만 HEVC는 이걸 무려 35가지 방향으로 늘렸어! 🤯 훨씬 더 다양한 각도로 예측할 수 있게 되면서, 이미지의 미세한 질감이나 경계선을 더 정확하게 예측하고, 원본과의 차이(잔여 신호, Residual)를 최소화할 수 있게 된 거야. 잔여 신호가 적을수록 압축할 데이터가 줄어드니, 당연히 효율이 올라가겠지?

인터 예측 (Inter Prediction)
시간적 중복성을 제거하는 인터 예측도 진화했어. HEVC는 AMVP(Advanced Motion Vector Prediction)와 Merge 모드 같은 기술을 도입해서 움직임 벡터(Motion Vector, MV)를 더 효율적으로 코딩해. 움직임 벡터란 '이전 프레임의 어떤 블록이 현재 프레임의 여기로 이동했는지'를 나타내는 정보인데, 이것 자체도 데이터거든.

HEVC는 주변 블록들의 움직임 벡터를 보고 "아, 얘도 비슷하게 움직였겠네?"라고 예측해서, 전체 움직임 벡터 정보를 다 보내는 대신 "주변 애랑 똑같아" 또는 "주변 애들 평균값에서 조금만 수정해"라는 식으로 정보량을 확 줄여버려. 똑똑하지?

핵심 차이점 3: 병렬 처리 최적화 - 타일(Tiles) & WPP

4K, 8K 영상을 실시간으로 인코딩하고 디코딩하려면 연산량이 어마어마해. CPU 코어가 하나였던 시절이라면 어림도 없었겠지. HEVC는 설계 단계부터 최신 멀티코어 프로세서를 최대한 활용할 수 있도록 병렬 처리에 대한 고민이 깊게 녹아있어.

타일 (Tiles)
타일은 한 프레임을 여러 개의 독립적인 사각형 영역으로 나누는 기술이야. 마치 화장실 벽에 타일 붙이듯이 말이지. 각 타일은 다른 타일의 데이터에 의존하지 않고 완전히 독립적으로 인코딩/디코딩될 수 있어. CPU 코어가 8개라면, 영상을 8개의 타일로 나눠서 각 코어에 하나씩 할당해 동시에 처리하게 할 수 있는 거지. 덕분에 엄청난 속도 향상을 얻을 수 있어. 🚀

WPP (Wavefront Parallel Processing)
타일보다 좀 더 유연한 병렬 처리 방식이야. 각 CTU 라인(행)을 처리할 때, 이전 라인의 두 번째 CTU 처리가 끝나면 바로 다음 라인의 첫 번째 CTU 처리를 시작하는 식으로, 마치 파면(Wavefront)이 퍼져나가는 것처럼 처리를 중첩시켜. 타일처럼 프레임을 완전히 나누지 않아도 되기 때문에 압축 효율 손실이 적다는 장점이 있어.

이런 강력한 병렬 처리 기능 덕분에, HEVC는 H.264보다 훨씬 복잡한 연산을 수행하면서도 최신 하드웨어에서 효율적으로 동작할 수 있게 된 거야.

핵심 차이점 4: 화질 개선 필터 - SAO (Sample Adaptive Offset)

압축 과정에서는 어쩔 수 없이 미세한 왜곡(Artifact)이 생기기 마련이야. HEVC는 이걸 보정하기 위해 기존의 디블록킹 필터(Deblocking Filter)에 더해 SAO(Sample Adaptive Offset)라는 새로운 인-루프 필터(In-loop Filter)를 추가했어.

SAO는 디코딩되어 복원된 픽셀 값과 원본 픽셀 값의 차이를 통계적으로 분석해서, 특정 패턴을 가진 오차를 보정해 주는 필터야. 예를 들어, 픽셀 값의 분포를 보고 "아, 이 영역은 전반적으로 픽셀 값이 살짝 어둡게 복원되었네? 그럼 전체적으로 +2만큼 밝게 보정하자!" 와 같은 작업을 수행하는 거지. 이 과정을 통해 밴딩(Banding)이나 링잉(Ringing) 같은 미세한 왜곡을 줄여주어 주관적인 화질을 크게 향상시켜. 마치 영상에 스마트한 포토샵 필터를 자동으로 적용해 주는 것과 같다고 생각하면 돼. ✨

🍯 꿀팁 정리: H.264 vs H.265

H.264 (AVC)
- 블록: 16x16 매크로블록 (고정)
- 인트라 예측: 9개 모드
- 병렬 처리: 제한적 (슬라이스)
- 인-루프 필터: 디블록킹 필터

H.265 (HEVC)
- 블록: 최대 64x64 CTU (쿼드트리 구조, 가변)
- 인트라 예측: 35개 모드
- 병렬 처리: 타일, WPP 등 강력 지원
- 인-루프 필터: 디블록킹 필터 + SAO

결론: HEVC는 더 크고 유연한 블록, 더 정교한 예측, 강력한 병렬 처리, 스마트한 필터를 통해 H.264 대비 약 2배의 압축 효율을 달성했다!

3장: HEVC 인코딩 파이프라인 - 압축의 마법이 일어나는 과정 🏭

자, 이제 HEVC가 어떤 기술들로 무장했는지 알았으니, 이 기술들이 실제로 어떻게 맞물려 돌아가는지 그 과정을 따라가 보자. 원본 영상 데이터가 한 입 크기의 비트스트림(bitstream)으로 변환되는 마법의 공장, HEVC 인코딩 파이프라인으로 초대할게!

이 과정은 매우 복잡하지만, 우리는 핵심적인 단계들만 뽑아서 살펴볼 거야. 아래 SVG 이미지가 전체적인 흐름을 보여주고 있어. 각 단계가 어떻게 유기적으로 연결되는지 눈여겨봐 줘.

HEVC 인코딩 파이프라인 (Simplified) 원본 영상 (YUV 픽셀) 1. 분할 (Partition) Frame → CTU → CU → PU, TU - 잔여 신호 (Residual) 2. 예측 (Prediction) 인트라 예측 인터 예측 (움직임 예측/보상) 예측 신호 3. 변환 & 양자화 Transform (DCT/DST) Quantization (손실 발생) 4. 엔트로피 코딩 CABAC (무손실 압축) 압축된 비트스트림 (최종 결과물) 다음 프레임 예측을 위한 복원 과정 역양자화 & 역변환 Inverse Quantization Inverse Transform + 예측 신호 5. 인-루프 필터 Deblocking SAO 복원된 프레임 (DPB에 저장)

1단계: 분할 (Partition)

모든 것은 쪼개는 것에서부터 시작해. 인코더는 먼저 한 프레임의 영상을 여러 개의 CTU(Coding Tree Unit)로 나눠. 그리고 각 CTU를 쿼드트리 구조에 따라 영상의 복잡도에 맞춰 CU(Coding Unit) 단위로 재귀적으로 분할하지. 이 CU가 실질적인 코딩의 기본 단위가 돼.

그리고 이 CU는 다시 두 가지 목적에 따라 또 쪼개질 수 있어.
- PU (Prediction Unit): 예측을 수행하는 단위. 하나의 CU는 대칭적 또는 비대칭적인 여러 개의 PU로 나뉠 수 있어. 더 정밀한 움직임 예측을 가능하게 하지.
- TU (Transform Unit): 변환(Transform)을 수행하는 단위. 예측 후 남은 잔여 신호를 주파수 영역으로 변환하는 데 사용돼. 역시 쿼드트리 구조로 CU 내에서 분할될 수 있어.

인코더는 이 모든 분할 조합(어떻게 쪼개는 게 가장 효율적인지)을 다 테스트해보고 가장 적은 비트를 소모하는 최적의 구조를 찾아내. 이 과정에서 엄청난 연산이 필요하고, 인코딩 속도에 가장 큰 영향을 미치는 부분 중 하나야.

2단계: 예측 (Prediction)

최적의 블록 구조가 결정되면, 이제 각 PU의 픽셀 값을 예측할 차례야. 앞서 배운 인트라 예측과 인터 예측이 여기서 활약하지.

- 인트라 예측: 현재 프레임 내에서 이미 코딩이 완료된 주변 픽셀들을 참고해서 현재 블록을 예측해. 35가지 방향 모드 중 가장 원본과 비슷한 예측 결과를 내는 모드를 선택하지.
- 인터 예측: 이전에 코딩된 다른 프레임(참조 프레임)에서 가장 비슷한 블록을 찾아내. "이전 프레임의 (x, y) 위치에 있던 블록이 현재 프레임의 (x', y') 위치로 이만큼 움직였어!"라는 움직임 벡터(MV)와 참조 프레임 인덱스 정보를 찾아내는 과정이야. 이걸 움직임 예측(Motion Estimation)이라고 해.

인코더는 인트라 예측과 인터 예측을 모두 수행해보고, 둘 중 더 효율적인(원본과의 차이가 적은) 방식을 선택해. 일반적으로는 배경처럼 변화가 적은 영상에서는 인터 예측이 압도적으로 높은 효율을 보여줘.

3단계: 변환 (Transform) & 양자화 (Quantization)

예측이 끝나면 '원본 블록'과 '예측 블록'의 차이, 즉 잔여 신호(Residual Signal)가 남아. 이 잔여 신호는 그냥 보면 의미 없는 노이즈처럼 보이지만, 여기에 원본의 디테일한 정보가 담겨있지. 이제 이 잔여 신호를 압축할 차례야.

변환 (Transform)
먼저 잔여 신호 블록(TU 단위)에 DCT(Discrete Cosine Transform)나 DST(Discrete Sine Transform) 같은 수학적 변환을 적용해. 이건 픽셀의 공간적 정보를 주파수 정보로 바꾸는 과정이야. 변환을 하고 나면, 에너지(중요한 정보)가 저주파수 영역(보통 좌측 상단)에 몰리고, 고주파수 영역(우측 하단)에는 대부분 0에 가까운 값들이 분포하게 돼.

양자화 (Quantization)
영상 압축에서 '손실'이 발생하는 핵심 단계야. 변환된 계수(Coefficient)들을 특정 값(Quantization Parameter, QP)으로 나누고 반올림하는 과정이야. QP 값이 클수록 더 거칠게 나누기 때문에 많은 계수들이 0이 되어버려. 특히 우리 눈이 둔감한 고주파수 영역의 값들이 대부분 0으로 변하지. 이렇게 0이 많아지면 나중에 엔트로피 코딩 단계에서 압축이 아주 잘 돼.

결국 QP 값을 어떻게 설정하느냐에 따라 압축률과 화질이 결정되는 거야. QP를 높이면(나누는 수를 키우면) 압축률은 올라가지만(파일 크기는 작아지지만) 정보 손실이 커져서 화질이 떨어지고, QP를 낮추면 그 반대가 되는 거지. 이게 바로 인코딩 옵션에서 우리가 화질을 조절하는 핵심 원리야.

🚨 잠깐! 인코더 안에 디코더가?

위 파이프라인 그림을 보면 좀 이상한 부분이 있지? 양자화된 데이터가 엔트로피 코딩으로 가는 동시에, 다시 '역양자화'와 '역변환'을 거쳐 예측 루프로 돌아가는 흐름 말이야. 이건 왜 필요할까?

인터 예측을 하려면 이전 프레임을 참조해야 하잖아. 그런데 나중에 디코더가 참조할 프레임은 '완벽한 원본'이 아니라 '압축되었다가 풀린, 손실이 발생한' 프레임이야. 만약 인코더 혼자 완벽한 원본을 계속 참조해서 압축하면, 디코더가 복원한 프레임과 인코더가 참조한 프레임이 서로 달라져서 오차가 계속 누적되는 대참사(Drift)가 발생해. 😱

그래서 인코더는 내부에 '가상 디코더'를 가지고, 자기가 방금 압축한 블록을 디코더와 똑같은 방식으로 복원해. 그리고 이 복원된 프레임을 다음 프레임 압축을 위한 참조 영상으로 사용하는 거야. 이렇게 인코더와 디코더가 항상 똑같은 그림을 보고 예측을 수행하도록 동기화를 맞춰주는 거지. 정말 치밀한 설계지?

4단계: 엔트로피 코딩 (Entropy Coding)

이제 거의 다 왔어! 양자화를 거쳐 듬성듬성해진 계수 데이터, 블록 분할 정보, 예측 모드, 움직임 벡터 등등... 압축에 필요한 모든 정보를 이제 최종적으로 비트스트림으로 만들 차례야. 이 과정은 무손실 압축이야.

HEVC는 CABAC(Context-Adaptive Binary Arithmetic Coding)이라는 고성능 엔트로피 코딩 방식을 사용해. CABAC은 그냥 빈도수만 보고 코드를 할당하는 게 아니라, '문맥(Context)'을 파악해. 예를 들어, "이전에 나왔던 데이터 패턴을 보니, 이번에는 0이 나올 확률이 90%군!" 과 같이 주변 상황을 보고 확률을 예측해서, 그 확률에 가장 최적화된 비트를 할당하는 아주 스마트한 방식이야. 덕분에 기존 방식보다 10~15% 정도 더 높은 압축률을 보여줘.

5단계: 인-루프 필터 (In-loop Filter)

엔트로피 코딩으로 가기 전, 내부 디코딩 루프에서 복원된 프레임은 다음 프레임의 '참조'가 되기 전에 화질 개선 작업을 거쳐. 블록 기반 코딩에서 발생하는 특유의 왜곡을 줄이기 위해서지.

- 디블록킹 필터 (Deblocking Filter): 블록과 블록 사이의 경계선이 각져 보이는 '깍두기 현상'을 부드럽게 만들어줘.
- SAO (Sample Adaptive Offset): 앞서 설명했듯이, 픽셀 값의 오차 패턴을 분석해서 보정해 줌으로써 링잉이나 밴딩 같은 미세한 왜곡을 줄여줘.

이렇게 깨끗하게 목욕재계한 프레임은 DPB(Decoded Picture Buffer)라는 곳에 저장되었다가, 다음 프레임들을 압축할 때 훌륭한 참조 자료로 사용돼. 이 모든 과정을 거치고 나면, 마침내 거대했던 원본 영상은 아주 작고 효율적인 HEVC 비트스트림으로 재탄생하게 되는 거야! 🎉

4장: 코드를 만져볼 시간 - x265로 HEVC 구현 맛보기 💻

자, 지금까지 HEVC의 이론을 아주 빡세게 파고들었어. 머리가 좀 지끈거릴 수도 있지만, 이 정도 지식이면 누구 앞에서든 HEVC에 대해 아는 척 좀 할 수 있을 거야. 😉 하지만 우리는 개발자잖아? 이론만으로는 만족할 수 없지! 이제 직접 코드를 만져보면서 HEVC 인코딩을 우리 손으로 직접 제어해 보자.

"잠깐, 설마 저 복잡한 파이프라인을 전부 다 코딩해야 하는 거야?" 라고 생각했다면, 걱정은 붙들어 매. 만약 그랬다면 이 글은 책 한 권으로도 모자랐을 거야. HEVC 코덱을 밑바닥부터 만드는 건 전 세계적으로도 손에 꼽는 전문가들이 모여 몇 년씩 걸리는 어마어마한 프로젝트야.

대신 우리에게는 강력한 무기가 있어. 바로 오픈소스 라이브러리! 수많은 천재 개발자들이 이미 만들어 놓은 훌륭한 도구를 가져다 쓰면 되는 거지. HEVC 인코더 중에서는 x265가 가장 대표적이고 성능도 뛰어나. 우리는 이 x265 라이브러리를 사용해서 HEVC 인코딩을 제어하는 방법을 알아볼 거야.

📚 x265란?

x265는 HEVC/H.265 표준을 구현한 오픈소스 비디오 인코더 라이브러리야. C++과 어셈블리로 작성되었고, 매우 높은 압축 효율과 빠른 속도를 자랑해. 우리가 흔히 사용하는 동영상 변환 프로그램인 FFmpeg, HandBrake 등도 내부적으로는 이 x265 라이브러리(libx265)를 사용해서 HEVC 인코딩을 수행해. 즉, x265를 안다는 건 HEVC 인코딩의 실질적인 표준을 다루는 것과 같아.

가장 쉬운 접근: FFmpeg와 함께 x265 사용하기

x265 라이브러리의 C/C++ API를 직접 다루기 전에, 많은 개발자들이 가장 먼저 접하고 가장 널리 사용하는 방법인 FFmpeg를 통해 x265를 사용하는 법부터 알아보자. FFmpeg는 거의 모든 종류의 미디어 파일을 다룰 수 있는 '미디어 계의 맥가이버 칼' 같은 존재야. 터미널에서 간단한 명령어로 강력한 인코딩 작업을 수행할 수 있지.

FFmpeg가 설치되어 있다면, 아래와 같은 명령어로 동영상을 HEVC로 인코딩할 수 있어.


ffmpeg -i input.mp4 -c:v libx265 -crf 28 -preset medium -c:a copy output_hevc.mp4

이 한 줄의 명령어가 사실은 우리가 앞에서 배운 그 복잡한 HEVC 인코딩 파이프라인을 모두 실행시키는 주문이야. 각 옵션이 무슨 뜻인지 한번 뜯어볼까?

  • -i input.mp4: 입력 파일(원본 동영상)을 지정해.
  • -c:v libx265: 비디오 코덱(codec for video)으로 libx265를 사용하라고 명령하는 거야. 이게 바로 HEVC 인코딩의 핵심!
  • -crf 28: Constant Rate Factor의 약자. 이게 바로 실질적인 화질 제어 옵션이야. x265에서 CRF는 0~51 사이의 값을 가지며, 0은 무손실, 51은 최악의 화질이야. 숫자가 낮을수록 고화질, 고용량이 되고, 숫자가 높을수록 저화질, 저용량이 돼. 기본값은 28인데, 이 정도면 원본과 거의 구분하기 힘든 좋은 화질을 보여줘. 고화질 보존이 중요하다면 20~24, 용량을 더 줄이고 싶다면 30 이상으로 설정해 볼 수 있어.
  • -preset medium: 인코딩 속도와 압축 효율의 트레이드오프를 설정하는 아주 중요한 옵션이야. x265는 ultrafast, superfast, veryfast, faster, fast, medium, slow, slower, veryslow, placebo 같은 다양한 프리셋을 제공해.
    • ultrafast로 갈수록 인코딩은 엄청나게 빨라지지만, 압축 효율은 떨어져 (파일 크기가 커져).
    • veryslow로 갈수록 인코딩은 지옥같이 느려지지만, 압축 효율은 극대화돼 (파일 크기가 작아져).
    medium이 기본값이며, 대부분의 상황에서 속도와 효율의 균형이 가장 잘 맞아.
  • -c:a copy: 오디오 코덱(codec for audio)은 copy, 즉 재인코딩하지 말고 원본 그대로 복사하라는 뜻이야. 오디오는 비디오에 비해 용량이 작으니, 굳이 재인코딩해서 시간을 낭비하거나 음질을 손상시킬 필요가 없을 때 사용해.
  • output_hevc.mp4: 결과물이 저장될 파일 이름이야.

어때? FFmpeg를 사용하면 정말 간단하게 HEVC 인코딩을 해볼 수 있지? 응용 프로그래밍 개발자로서, 외부 프로세스를 호출하는 방식으로 미디어 처리를 구현할 때 FFmpeg는 정말 강력하고 편리한 도구야.

한 걸음 더: x265 C/C++ API 맛보기

FFmpeg가 편리하긴 하지만, 실시간 스트리밍 서버를 만들거나, 비디오 편집기에 HEVC 익스포트 기능을 넣는 등 좀 더 섬세한 제어가 필요한 애플리케이션을 개발하려면 x265 라이브러리의 API를 직접 호출해야 해. 전체 코드를 다 보여주기엔 너무 길어지니, 핵심적인 흐름과 API 함수들의 역할 위주로 살펴보자.

x265 API의 일반적인 사용 흐름은 다음과 같아.

1. 파라미터 설정 (Parameter Setup)
가장 먼저 할 일은 인코딩 설정을 담을 파라미터 구조체를 만들고 초기화하는 거야. FFmpeg에서 -crf, -preset으로 주던 옵션들을 여기서 코드로 설정하는 거지.


#include <x265.h>

// 1. 파라미터 구조체 생성 및 초기화
x265_param *param = x265_param_alloc();
if (!param) { /* 에러 처리 */ }

// 프리셋과 튜닝을 기반으로 기본값 설정 (가장 먼저 해야 함!)
// "medium" 프리셋, 튜닝 없음(NULL)
int ret = x265_param_default_preset(param, "medium", "zerolatency");
if (ret < 0) { /* 에러 처리 */ }

// 2. 주요 파라미터 설정
param->bRepeatHeaders = 1; // SPS/PPS 헤더를 모든 키프레임에 포함
param->internalCsp = X265_CSP_I420; // 내부적으로 사용할 색공간
param->sourceWidth = 1920; // 원본 영상 너비
param->sourceHeight = 1080; // 원본 영상 높이
param->fpsNum = 30; // 프레임레이트 (분자)
param->fpsDenom = 1; // 프레임레이트 (분모) -> 30/1 = 30fps

// 화질 제어 (CRF 모드)
param->rc.rateControlMode = X265_RC_CRF;
param->rc.f_rfConstant = 28.0f; // CRF 값 설정 (float)

// 프로파일 설정 (예: main 프로파일)
ret = x265_param_apply_profile(param, "main");
if (ret < 0) { /* 에러 처리 */ }

x265_param_default_preset 함수로 기본 설정을 불러온 뒤, 우리가 원하는 해상도, 프레임레이트, 화질(CRF) 등을 직접 설정해 주는 방식이야. 수많은 파라미터가 있지만, 이 정도만 알아도 기본적인 인코딩은 충분히 가능해.

2. 인코더 생성 (Encoder Initialization)
설정이 끝난 파라미터 구조체를 넘겨주어 인코더 핸들(객체)을 생성해.


// 3. 인코더 핸들 생성
x265_encoder *encoder = x265_encoder_open(param);
if (!encoder) {
    // 파라미터가 유효하지 않거나 메모리 부족 등
    x265_param_free(param);
    /* 에러 처리 */
}

x265_encoder_open이 성공적으로 호출되면, 이제 영상을 압축할 준비가 모두 끝난 거야!

3. 인코딩 루프 (Encoding Loop)
이제 실제 영상 프레임 데이터를 반복적으로 인코더에 밀어 넣고, 압축된 결과물(NAL 유닛)을 받아오는 과정이야.


x265_picture *pic_in = x265_picture_alloc();
x265_picture_init(param, pic_in);

// ... (YUV 형식의 원본 프레임 데이터를 pic_in->planes에 채우는 코드) ...

uint32_t num_nals = 0;
x265_nal *nals = NULL;

// 4. 한 프레임 인코딩
// pic_in에 프레임 데이터가 준비되었다고 가정
int frame_size = x265_encoder_encode(encoder, &nals, &num_nals, pic_in, NULL);

if (frame_size < 0) {
    /* 에러 처리 */
} else if (frame_size > 0) {
    // 성공! 압축된 데이터(NAL)가 nals 배열에 들어있음
    // 이 데이터를 파일에 쓰거나 네트워크로 전송
    for (uint32_t i = 0; i < num_nals; i++) {
        // fwrite(nals[i].payload, 1, nals[i].sizeBytes, output_file);
    }
} else {
    // frame_size == 0
    // 인코더가 내부 버퍼링을 위해 프레임을 더 필요로 하는 경우.
    // 아직 출력은 없음.
}

// ... (모든 프레임에 대해 위 과정을 반복) ...

x265_picture 구조체에 원본 YUV 데이터를 채우고, x265_encoder_encode 함수를 호출하면 돼. 그럼 함수가 알아서 마법을 부리고, 압축된 데이터 조각들(NAL)을 우리에게 돌려줘. 우리는 이 NAL들을 모아서 파일로 저장하면 그게 바로 .h265 또는 .hevc 비트스트림 파일이 되는 거지. (보통은 MP4 같은 컨테이너에 담지만!)

4. 인코더 종료 및 자원 해제 (Flush & Cleanup)
모든 프레임을 다 보냈다고 끝이 아니야. 인코더 내부 버퍼에 아직 처리되지 않고 남아있는 프레임들이 있을 수 있어. 이들을 모두 처리하도록 '플러시(Flush)' 신호를 보내야 해.


// 5. 인코더 플러시 (남아있는 프레임들 처리)
while (1) {
    int frame_size = x265_encoder_encode(encoder, &nals, &num_nals, NULL, NULL);
    if (frame_size == 0) {
        // 더 이상 출력할 프레임이 없으면 루프 종료
        break;
    }
    if (frame_size < 0) { /* 에러 처리 */ break; }

    // 남아있던 프레임들의 압축된 데이터 처리
    for (uint32_t i = 0; i < num_nals; i++) {
        // fwrite(nals[i].payload, 1, nals[i].sizeBytes, output_file);
    }
}

// 6. 모든 자원 해제
x265_encoder_close(encoder);
x265_picture_free(pic_in);
x265_param_free(param);

x265_encoder_encode 함수에 입력으로 NULL을 전달하면 플러시 모드로 동작해. 더 이상 출력이 없을 때까지 반복한 뒤, 마지막으로 x265_encoder_close를 호출하고 할당했던 모든 메모리를 깨끗하게 해제해 주면 인코딩 과정이 완벽하게 마무리돼.

이처럼 C/C++ API를 사용하면 FFmpeg보다 훨씬 로우 레벨에서 인코딩 과정을 제어할 수 있어. 물론 그만큼 신경 써야 할 것도 많지만, 고성능 미디어 애플리케이션을 개발하려면 반드시 알아둬야 할 내용이야. 이런 전문적인 기술을 익히고 싶다면, 재능넷 같은 플랫폼에서 관련 프로젝트에 참여하거나 전문가의 도움을 받는 것도 좋은 방법이 될 수 있겠지? 💡

5장: HEVC의 미래와 도전 - AV1과의 경쟁, 그리고 라이선스 💰

HEVC는 의심할 여지 없이 훌륭한 기술이야. 하지만 세상에 영원한 왕은 없지. HEVC 역시 몇 가지 도전에 직면해 있고, 강력한 경쟁자도 등장했어. HEVC의 미래를 이야기할 때 빼놓을 수 없는 두 가지 키워드는 바로 '라이선스'와 'AV1'이야.

넘어야 할 산: 복잡한 특허 라이선스 문제

HEVC 기술은 수많은 회사들이 보유한 수천 개의 특허 기술이 집약된 결과물이야. 그래서 HEVC를 사용하는 제품이나 서비스를 만들려면 이 특허권자들에게 라이선스 비용, 즉 로열티를 내야 해.

문제는 이 특허를 관리하는 그룹(특허 풀)이 MPEG LA, HEVC Advance, Velos Media 등 여러 개로 나뉘어 있고, 라이선스 정책도 복잡하고 비용도 만만치 않다는 점이야. 이 때문에 구글, 애플, 넷플릭스 같은 거대 기업들은 물론이고 작은 스타트업들까지도 HEVC를 도입하는 데 큰 부담을 느꼈어.

이러한 상황은 결국 "로열티 없는, 누구나 자유롭게 쓸 수 있는 고성능 코덱은 없을까?"라는 갈증을 낳게 되었고, 이는 새로운 코덱의 탄생으로 이어졌지.

강력한 경쟁자의 등장: AV1 (AOMedia Video 1)

바로 그 갈증에 대한 해답으로 등장한 것이 AV1이야. AV1은 구글, 아마존, 넷플릭스, 마이크로소프트, 모질라, 시스코 등 IT 업계의 공룡들이 뭉쳐 만든 'AOMedia(Alliance for Open Media)'에서 개발한 차세대 영상 코덱이야. AV1의 가장 큰 특징은 바로 '로열티 프리(Royalty-Free)'라는 점! 누구나 무료로 가져다 쓸 수 있어.

그럼 성능은 어떨까? 일반적으로 AV1은 HEVC보다 약 20~30% 더 높은 압축 효율을 보여준다고 알려져 있어. 즉, 같은 화질에서 파일 크기가 더 작다는 거지. 유튜브나 넷플릭스처럼 하루에도 천문학적인 양의 데이터를 전송해야 하는 기업 입장에서는 이 20%의 차이가 어마어마한 서버 및 트래픽 비용 절감으로 이어지기 때문에 AV1을 적극적으로 밀고 있어.

HEVC vs AV1, 승자는?

HEVC vs AV1 비교

압축 효율: AV1 > HEVC (일반적으로 AV1이 우세)
연산 복잡도: AV1 > HEVC (AV1이 인코딩/디코딩에 훨씬 더 많은 자원을 소모함)
라이선스: AV1 (로열티 프리) vs HEVC (로열티 필요)
하드웨어 지원: HEVC > AV1 (HEVC는 이미 대부분의 스마트폰, TV, GPU에서 하드웨어 가속을 지원. AV1은 빠르게 따라잡고 있지만 아직은 부족함)

현재 상황을 정리하자면 이래. AV1은 압축 효율과 라이선스 면에서 분명한 장점을 가지고 있지만, 너무나도 높은 연산 복잡도 때문에 아직까지는 널리 쓰이기 힘든 상황이야. 특히 실시간 인코딩이 필요한 라이브 스트리밍 같은 분야에서는 아직 HEVC가 훨씬 유리해. 또한, 이미 시장에 깔린 수많은 디바이스들이 HEVC 하드웨어 디코더를 탑재하고 있다는 점도 무시할 수 없는 HEVC의 강점이지.

결국, 당분간은 두 코덱이 공존하는 시대가 될 가능성이 높아. 유튜브, 넷플릭스 같은 대규모 스트리밍 플랫폼은 AV1으로 점차 전환하고, 방송, IP 카메라, 기존 디바이스 호환성이 중요한 분야에서는 HEVC가 계속해서 주력으로 사용될 거야.

그리고 다음 세대: VVC (H.266)

HEVC 진영도 가만히 있지는 않았어. HEVC의 공식 후계자인 VVC(Versatile Video Coding), 즉 H.266이 이미 표준화되었어. VVC는 HEVC 대비 약 40~50%의 추가적인 압축 효율 향상을 목표로 하고, 360도 VR 영상이나 스크린 콘텐츠 코딩 등 다양한 활용성에 초점을 맞추고 있어. 하지만 VVC 역시 HEVC와 비슷한 라이선스 문제를 안고 있고, AV1보다도 훨씬 더 높은 복잡도를 가지고 있어서 대중화되기까지는 꽤 오랜 시간이 걸릴 것으로 보여.

마무리하며: 압축의 세계, 이제 당신도 전문가! 🌟

와, 정말 긴 여정이었어! 우리는 코덱의 기본 원리부터 시작해서, HEVC가 H.264를 뛰어넘은 비결들(CTU, 35개 인트라 모드, 병렬 처리, SAO), 그리고 복잡한 인코딩 파이프라인의 동작 과정까지 속속들이 파헤쳐 봤어. 심지어 FFmpeg와 x265 C++ API를 통해 실제 구현을 맛보기까지 했지.

이제 당신은 단순히 영상을 보는 소비자를 넘어, 영상이 어떻게 더 작고 효율적으로 우리에게 전달되는지 그 비밀을 아는 개발자가 되었어. "이 영상 코덱이 HEVC일까, AV1일까?", "CRF 값을 얼마로 줘야 최적의 결과가 나올까?" 같은 고민을 할 수 있게 된 거지. 이건 정말 큰 차이야.

물론 오늘 다룬 내용은 HEVC의 거대한 세계의 일부에 불과해. 각 파라미터의 미세한 튜닝, 다양한 레이트 컨트롤 기법, 디코딩 과정의 최적화 등 파고들면 끝이 없는 분야지. 하지만 오늘 배운 지식들이 당신이 앞으로 미디어 개발, 스트리밍 서비스, 영상 처리 AI 등 관련 분야로 나아가는 데 튼튼한 발판이 되어줄 거라고 확신해.

두려워하지 말고 직접 부딪혀봐. FFmpeg 명령어를 바꿔가며 인코딩 결과를 비교해보고, x265의 다양한 파라미터를 문서에서 찾아 적용해봐. 직접 코드를 짜서 영상 프레임을 인코딩하는 경험은 당신을 한 단계 더 성장시켜 줄 거야. 이런 깊이 있는 기술적 지식과 경험은 여러분을 재능넷과 같은 플랫폼에서 더욱 돋보이는 전문가로 만들어 줄 수 있을 거야.

압축의 세계는 계속해서 진화하고 있어. 하지만 오늘 우리가 함께 탐험한 HEVC의 핵심 원리들은 앞으로 등장할 새로운 코덱들을 이해하는 데에도 중요한 기초가 될 거야. 이 흥미진진한 기술의 세계에서 당신의 멋진 활약을 기대할게! 👍

댓글 작성

이 글에 대한 여러분의 생각을 들려주세요

댓글 0
댓글을 불러오는 중입니다.

아직 댓글이 없습니다.