🍜 들어가기 전에: 왜 갑자기 다들 HBM, HBM 하냐면요

ㅋㅋㅋ 요즘 뉴스 틀면 무조건 나오는 단어 3대장이 있죠.
"AI", "엔비디아", 그리고 HBM.

근데 솔직히… HBM이 뭔지 정확히 아는 사람? 의외로 적음ㅇㅇ
"음 그거 비싼 메모리 아님?" "삼성이랑 하이닉스가 싸우는 거?" 정도로 알고 계신 분들 많을 거예요.

사실 HBM은 High Bandwidth Memory, 즉 고대역폭 메모리의 약자입니다.
근데 이름만 보면 감이 안 오잖아요. "대역폭이 높다고? 그래서 뭐?" 이런 느낌.

그래서 오늘은 전기전자 시스템공학 관점에서, 왜 인류가 멀쩡한 메모리를 굳이 아파트처럼 쌓아 올리기 시작했는지를
아주 찐하게, 근데 재밌게 풀어볼게요. 커피 한 잔 챙기고 ㄱㄱ ☕

🧱 1장. 모든 문제의 시작: "메모리 월(Memory Wall)"

1-1. CPU는 날아가는데 메모리는 걸어옴

컴퓨터 구조 수업 들어보신 분들은 아실 거예요. 폰 노이만 병목(von Neumann bottleneck).

연산 장치(CPU/GPU)는 무어의 법칙 타고 해마다 미친 듯이 빨라졌는데,
메인 메모리(DRAM)의 데이터 공급 능력은 그만큼 못 따라왔어요.

1990년대에 이미 이 문제가 공식적으로 지적됐습니다. Wulf와 McKee가 1995년에 쓴
"Hitting the Memory Wall"이라는 논문이 그 유명한 메모리 월 개념의 출발점이죠.

쉽게 비유하면 이런 상황임:

이걸 전문 용어로 "연산 유닛 유휴(idle) 상태"라고 하고,
GPU 엔지니어들은 이걸 memory-bound(메모리 바운드) 상태라고 부릅니다.

1-2. 산술 강도(Arithmetic Intensity)라는 개념

여기서 공학적으로 조금 더 들어가볼게요. 루프라인 모델(Roofline Model)이라는 게 있어요.
버클리에서 나온 성능 분석 모델인데, 핵심 개념이 산술 강도입니다.

산술 강도 (AI, Arithmetic Intensity)
 = 연산량(FLOPs) ÷ 메모리 전송량(Bytes)

- AI 값이 높다 → 연산 위주 (compute-bound)
- AI 값이 낮다 → 메모리 위주 (memory-bound)

근데요… 딥러닝, 특히 LLM 추론(inference)은 산술 강도가 극도로 낮습니다.
왜냐? 토큰 하나 만들 때마다 수십~수백 GB짜리 가중치 전체를 메모리에서 읽어와야 하거든요.

이제 왜 HBM이 필요한지 감이 슬슬 오시죠?
AI 시대의 병목은 "계산이 느려서"가 아니라 "데이터를 못 갖다줘서"입니다.

🏗️ 2장. 그래서 나온 답: "옆으로 못 늘리면 위로 쌓자"

2-1. 대역폭 공식부터 이해하자

메모리 대역폭은 사실 초딩 산수처럼 단순한 공식으로 나옵니다.

대역폭(GB/s) = 버스 폭(bit) × 전송 속도(Gbps/pin) ÷ 8

즉 대역폭을 올리는 방법은 딱 두 가지뿐이에요.

① 핀당 속도를 올린다 (주파수 ↑)
② 배선(핀) 개수를 늘린다 (버스 폭 ↑)

근데 ①번은 물리적 한계에 부딪혔어요. 왜냐면…

GDDR6X가 PAM4 변조까지 동원해서 핀당 20Gbps 넘겼는데,
거기서 더 올리려니 소비전력이 감당이 안 되는 상황이 온 거죠.

2-2. 그럼 ②번, 배선을 늘리자!

DDR5 채널 하나가 대략 64비트, GDDR6는 칩당 32비트 정도예요.
그런데 HBM은? 스택 하나당 1024비트입니다. 미쳤죠ㅋㅋㅋ

근데 여기서 의문이 생김. "아니 그럼 진작에 배선 늘리지 왜 안 했음?"

이유는 간단해요. PCB에 1024개 배선을 못 깔기 때문입니다.

2-3. 발상의 전환: 3D 적층 + 실리콘 인터포저

그래서 엔지니어들이 낸 답이 바로 이겁니다.

"PCB에 못 깔면, 실리콘 위에 깔자."
"옆으로 못 늘리면, 위로 쌓자."

이게 HBM의 본질이에요. HBM은 새로운 DRAM 셀 기술이 아니라,
기존 DRAM을 '패키징 방식'으로 혁신한 것입니다.

그래서 HBM을 이해하려면 반드시 어드밴스드 패키징(Advanced Packaging)을 알아야 해요.
이게 요즘 반도체 업계에서 미세공정만큼 뜨거운 이유이기도 하고요.

🔬 3장. HBM의 핵심 기술 3종 세트

3-1. TSV (Through-Silicon Via, 실리콘 관통 전극)

HBM의 심장이라고 할 수 있는 기술입니다.

기존에는 칩끼리 연결할 때 와이어 본딩(Wire Bonding)을 썼어요.
칩 가장자리에서 금선을 뽑아서 기판에 연결하는 방식인데, 이건 칩을 쌓으면 계단식으로 밀려 쌓아야 하고
배선 길이도 길어지고 개수도 제한적이에요.

TSV는요? 실리콘 웨이퍼를 수직으로 뚫어서 구멍을 내고, 거기에 구리를 채워 넣습니다.
그러면 위아래 칩이 최단 거리로 직접 연결되는 거죠. 엘리베이터 뚫는 거랑 똑같음ㅋㅋ

여기서 진짜 어려운 게 웨이퍼 박막화예요.
DRAM 다이 두께를 머리카락 굵기(약 70μm)보다 얇게 갈아내는데,
이렇게 얇아지면 웨이퍼가 과자처럼 잘 깨집니다. 그래서 캐리어 웨이퍼에 임시로 붙여놓고 작업해요.

그리고 또 하나. TSV는 실리콘에 구멍을 내는 거라 주변 셀에 스트레스를 줍니다.
구리와 실리콘의 열팽창계수(CTE)가 달라서 온도 변화 시 응력이 생기거든요.
그래서 TSV 주변엔 KOZ(Keep Out Zone)라는 금지 구역을 둬서 셀을 배치하지 않습니다.
→ 이게 HBM의 실질적 용량 효율을 떨어뜨리는 원인 중 하나예요.

3-2. 실리콘 인터포저 & 2.5D 패키징

HBM 스택을 만들었다고 끝이 아니에요. 이걸 GPU랑 연결해야 하잖아요?
1024개 선을 PCB로는 못 깐다고 아까 말씀드렸죠.

그래서 GPU와 HBM을 나란히 올려놓을 '실리콘 판때기'를 하나 더 깝니다.
이게 바로 실리콘 인터포저(Silicon Interposer)예요.

이렇게 여러 칩을 인터포저 위에 수평으로 나란히 배치하는 걸
2.5D 패키징이라고 불러요. (완전히 수직으로 쌓으면 3D)

대표적인 게 TSMC의 CoWoS(Chip on Wafer on Substrate)입니다.
엔비디아 H100, H200, B200 다 이 기술로 만들어져요.
그래서 "CoWoS 캐파 부족해서 GPU 못 만든다"는 뉴스가 나오는 거고요ㅋㅋ

3-3. 본딩 기술: MR-MUF vs 하이브리드 본딩

칩을 쌓을 때 어떻게 붙이느냐도 엄청 중요합니다.

① TC-NCF (Thermo Compression - Non Conductive Film)
칩 사이에 비전도성 필름을 끼우고 열+압력으로 눌러 붙이는 방식.
삼성전자가 오래 사용해온 방식이고, 층마다 필름이 들어가서 두께 관리가 까다로워요.

② MR-MUF (Mass Reflow - Molded Underfill)
SK하이닉스가 밀고 있는 방식. 칩들을 한꺼번에 쌓아놓고 리플로우로 접합한 뒤,
액체 상태의 보호재(EMC)를 한 번에 주입해서 틈을 채웁니다.
열 전도율이 좋고, 공정 시간이 짧고, 칩 휨도 덜함 → HBM3 시장에서 큰 강점이 됐죠.

③ 하이브리드 본딩 (Hybrid Bonding)
미래의 기술. 범프를 아예 없애고 구리-구리를 직접 접합하는 방식입니다.
Cu 패드와 산화막을 원자 수준으로 평탄하게 만들어서 그냥 눌러 붙여요.

업계에서는 HBM4 또는 HBM4E 세대부터 하이브리드 본딩이 본격 도입될 거라고 보고 있어요.
16단, 20단까지 쌓으려면 사실상 선택이 아니라 필수가 되어가는 중.

📐 4장. HBM은 내부적으로 어떻게 생겼을까

4-1. 채널, 의사채널, 뱅크

HBM의 1024비트는 그냥 통짜 버스가 아니에요. 잘게 쪼개져 있습니다.

왜 이렇게 쪼갤까요? 병렬성(parallelism) 때문입니다.

채널이 독립적으로 동작하면 여러 요청을 동시에 처리할 수 있어요.
GPU처럼 수만 개 스레드가 동시에 메모리를 두드리는 환경에서는
"넓은 하나의 도로"보다 "독립적인 여러 개의 도로"가 훨씬 효율적이거든요.

그리고 각 채널 안에는 다시 뱅크 그룹 → 뱅크 → 로우/컬럼 계층이 있습니다.
이건 일반 DRAM이랑 원리가 같아요. tRCD, tRP, tRAS 같은 타이밍 파라미터도 그대로 존재하고요.

4-2. 여기서 중요한 반전: HBM은 '지연시간'이 짧지 않다

비유하자면 HBM은 16차선 고속도로입니다.
차 한 대가 서울에서 부산 가는 시간은 똑같아요. 근데 한 번에 옮길 수 있는 차량 수가 압도적인 거죠.

그리고 AI 워크로드는 딱 이런 특성에 최적화돼 있어요.
행렬 곱셈은 데이터를 순차적으로 대량 스트리밍하는 작업이거든요.
개별 지연은 다른 워크로드로 숨기고(latency hiding), 총 처리량만 챙기면 되는 구조.

4-3. 전력 효율이라는 히든 카드

사실 HBM의 진짜 무서운 점은 비트당 에너지(pJ/bit)입니다.

데이터를 옮기는 데 드는 에너지는 대략 배선의 커패시턴스와 길이에 비례해요.
PCB를 타고 몇 센티미터를 가야 하는 GDDR과, 인터포저 위 몇 밀리미터만 가면 되는 HBM.
당연히 후자가 훨씬 적은 에너지로 데이터를 옮깁니다.

또 하나. HBM은 동작 전압이 낮아요(HBM3 기준 VDDQ 0.4V 수준).
전력이 V²에 비례하니까 전압을 낮추는 건 전력 절감에 어마어마한 효과가 있습니다.
낮은 전압으로도 신호가 살아남을 수 있는 건 배선이 짧기 때문이고요. 완벽한 선순환ㅋㅋ

📜 5장. HBM 세대별 연대기

5-1. 시작은 게임용 그래픽카드였다 (ㄹㅇ)

HBM은 사실 AI 때문에 나온 게 아니에요.
2013년 JEDEC에서 JESD235 표준으로 처음 제정됐고,
AMD와 SK하이닉스가 공동 개발했습니다.

최초 상용 제품은 2015년 AMD Radeon R9 Fury X 그래픽카드였어요.
"GPU 카드를 짧게 만들 수 있다!"가 당시 셀링 포인트였죠ㅋㅋㅋ (GDDR 칩들이 자리를 많이 먹어서)

근데 초기 HBM은 솔직히 가성비가 안 나왔어요.
비싸고, 용량 제한 있고, 게임 성능에선 GDDR 대비 압도적 우위도 아니었고.
그래서 한동안 "고급 기술인데 쓸 데가 애매한 것" 취급을 받았습니다.

그러다가… 딥러닝이 터졌죠. 그때부터 인생역전ㅋㅋㅋㅋ

5-2. 세대별 스펙 정리

여기서 HBM4가 진짜 게임체인저인 이유가 보이시죠?

이전 세대들은 계속 "핀 속도"만 올렸어요. 폭은 1024비트 고정.
근데 HBM4는 인터페이스 폭 자체를 2048비트로 2배 늘렸습니다.
즉 초기 HBM이 택했던 "넓게 가자" 철학으로 다시 한번 정면 돌파한 거죠.

5-3. HBM4의 또 다른 혁신: 커스텀 베이스 다이

HBM 스택 맨 아래에는 베이스 다이(Base Die) 또는 로직 다이가 깔려 있어요.
여기가 컨트롤러, PHY, 테스트 회로 등이 들어가는 층입니다.

지금까지 이 베이스 다이는 메모리 업체가 DRAM 공정으로 만들었어요.
근데 HBM4부터는 파운드리의 첨단 로직 공정(4nm, 12nm 등)으로 제작하는 흐름이 생겼습니다.

실제로 SK하이닉스는 TSMC와, 삼성전자는 자사 파운드리와 협력해서
HBM4 베이스 다이를 만드는 구조로 가고 있어요.
메모리 회사와 파운드리가 손잡는 시대… 10년 전엔 상상도 못 했던 그림임ㅋㅋ

🌡️ 6장. HBM의 최대 난제: 열, 열, 그리고 또 열

6-1. 쌓으면 열이 갇힌다

칩을 수직으로 쌓으면 필연적으로 생기는 문제가 있어요.
가운데 층의 열이 빠져나갈 길이 없다는 것.

일반적으로 칩의 열은 위쪽 히트싱크로 빠져나가요.
근데 12단으로 쌓으면? 6번째 다이의 열은 위로 6개 층을 통과해야 나갑니다.
실리콘과 접합재의 열 저항이 누적되니까 중간층 온도가 제일 높아지는 현상이 발생해요.

6-2. 열과의 전쟁, 어떻게 싸우나

① 더미 범프(Dummy Bump) / 열 전달 경로 설계
신호를 전달하지 않는 순수 방열용 범프와 TSV를 심어서 열 통로를 만듭니다.

② 고열전도 언더필 소재
MR-MUF에 쓰이는 EMC에 열전도율 높은 필러를 섞어서 열을 옆으로 빼냅니다.
SK하이닉스는 여기에 '어드밴스드 MR-MUF'라는 개량 공법을 적용했다고 발표했죠.

③ 다이 박막화
다이가 얇을수록 열 저항이 작아져요. 근데 너무 얇으면 깨짐. 밸런스 싸움.

④ 직접 냉각 (Direct-to-Chip Liquid Cooling)
결국 시스템 레벨에서는 공랭을 포기하고 수랭으로 가는 추세입니다.
엔비디아 GB200 NVL72 같은 랙 스케일 시스템이 완전 수랭 구조인 이유가 이거예요.

⑤ 미래 기술: 유체 관통 냉각
아예 실리콘 다이 사이에 미세 유로(microfluidic channel)를 뚫어서 냉각수를 흘리는 연구도 활발합니다.
아직 상용화는 멀었지만, 3D 적층이 더 높아지면 결국 갈 길이라는 의견이 많아요.

6-3. 수율이라는 지옥

HBM은 KGD(Known Good Die) 개념이 필수입니다.
12개 다이를 쌓았는데 그중 하나가 불량이면? 스택 전체가 폐기예요.

단순 계산 예시
다이 1개 양품률 = 99%
12단 적층 시 = 0.99^12 ≈ 88.6%
+ 적층 공정 자체 수율 90% 가정
→ 최종 수율 ≈ 79.7%

다이 양품률이 95%라면?
0.95^12 ≈ 54% ... 여기에 공정 수율까지 곱하면 답이 없음 ㄷㄷ

그래서 HBM은 적층 전에 개별 다이를 철저히 테스트해야 하는데,
문제는 얇게 갈아낸 다이를 테스트하는 것 자체가 어렵다는 거예요.
프로브 카드로 찌르면 깨질 수 있고, 마이크로 범프는 너무 작아서 접촉이 힘들고…

이래서 HBM이 비쌉니다. 일반 DRAM 대비 몇 배에서 십수 배의 가격이 형성돼요.
"같은 웨이퍼로 일반 DRAM 만들면 훨씬 많이 나오는데 왜 HBM 하냐"는 얘기가 나오는 이유이기도 하고,
동시에 HBM 생산이 늘면 일반 DRAM 공급이 줄어서 범용 메모리 가격도 오르는 연쇄효과가 생깁니다.

🤖 7장. AI가 HBM을 이렇게까지 갈구하는 이유

7-1. 트랜스포머의 구조적 특성

현재 LLM의 근간인 트랜스포머는 크게 두 종류의 연산으로 나뉩니다.

① 학습(Training) — 대량의 데이터를 배치로 처리. 산술 강도가 상대적으로 높음.
그래도 모델이 워낙 커서 파라미터·그래디언트·옵티마이저 상태를 다 메모리에 올려야 해요.
Adam 옵티마이저 쓰면 파라미터당 대략 모델 크기의 3~4배 메모리가 추가로 필요합니다.

② 추론(Inference) — 여기가 진짜 메모리 지옥.
특히 디코딩 단계(auto-regressive decoding)는 토큰을 하나씩 만드는데,
매 토큰마다 모델 전체 가중치를 읽어야 해서 완전한 memory-bound 작업입니다.

7-2. KV 캐시라는 복병

추론할 때 이미 계산한 Key/Value를 저장해두는 KV 캐시가 있는데,
이게 컨텍스트 길이에 비례해서 커집니다.

KV 캐시 크기 ≈ 2 × 레이어수 × 헤드차원 × 헤드수
              × 시퀀스길이 × 배치크기 × 데이터타입(byte)

컨텍스트 100만 토큰 같은 걸 지원하려면 KV 캐시만 수십~수백 GB가 필요해요.
그래서 요즘 MQA, GQA, MLA 같은 어텐션 최적화 기법이 계속 나오는 거죠.
근데 그래도 용량과 대역폭 수요는 계속 증가 중임ㅋㅋ

7-3. 메모리 계층의 재편

전통적 메모리 계층은 이랬어요.

레지스터 → L1 → L2 → L3 캐시 → DRAM → SSD → HDD
(빠르고 작음)                            (느리고 큼)

AI 시대엔 여기에 HBM이 끼어들면서 계층이 재편됩니다.

레지스터 → SRAM(공유메모리) → HBM → CXL 메모리 → NVMe SSD
                                ↑
                        새로운 "메인 메모리"

그리고 HBM만으로 부족한 용량은 CXL(Compute Express Link) 기반
메모리 풀링/확장으로 채우는 하이브리드 구조가 연구되고 있어요.
"뜨거운 데이터는 HBM, 미지근한 데이터는 CXL 메모리" 이런 식으로 티어링하는 거죠.

⚔️ 8장. HBM 시장, 지금 무슨 일이 벌어지고 있나

8-1. 3파전 구도

HBM을 만들 수 있는 회사는 전 세계에 딱 세 곳뿐입니다.

🇰🇷 SK하이닉스 — HBM3/3E 시장 선두. MR-MUF 공법과 엔비디아와의 긴밀한 협업이 강점.
🇰🇷 삼성전자 — 종합 반도체 역량(파운드리+메모리+패키징 턴키)이 강점. HBM4에서 반격 노리는 중.
🇺🇸 마이크론 — 후발이지만 HBM3E부터 빠르게 추격. 전력 효율을 셀링 포인트로 내세움.

이 세 회사가 사실상 AI 산업 전체의 병목을 쥐고 있어요.
HBM 공급이 막히면 GPU를 못 만들고, GPU가 없으면 AI 서비스가 안 돌아가니까요.

8-2. HBM의 사업 구조가 특이한 점

이게 메모리 업계 입장에선 엄청난 변화예요.
예측 불가능한 사이클 산업에서 안정적 수익 구조로 체질이 바뀌는 거니까요.

8-3. 지식은 결국 연결에서 나온다

이렇게 HBM 하나만 파고들어도 소재, 공정, 회로 설계, 열역학, 시스템 아키텍처, 산업 구조까지
전부 연결되어 있다는 걸 알 수 있어요.

전기전자 시스템공학이 재밌는 이유가 이거죠.
하나의 기술이 물리 → 소자 → 회로 → 시스템 → 산업으로 쭉 이어지니까.

요즘은 이런 융합 지식을 혼자 파기보다 서로 공유하면서 배우는 흐름이 강해졌는데요,
재능넷의 '지식인의 숲' 같은 공간에서 반도체·회로설계·임베디드 같은 분야의
실무자 관점 콘텐츠를 접해보는 것도 꽤 도움이 됩니다. 교과서에는 없는 감각들이 있거든요ㅇㅇ

🔭 9장. HBM 다음은 뭘까

9-1. 3D 적층의 완성형 — 메모리를 로직 '위에' 올리기

지금의 2.5D는 GPU와 HBM이 나란히 있어요.
그래도 배선 거리가 몇 밀리미터는 됩니다.

궁극의 형태는 메모리를 로직 다이 바로 위에 수직으로 얹는 것이에요.
그러면 배선 거리가 마이크로미터 단위로 줄어들어서 대역폭은 폭증, 전력은 급감.

문제는? 열입니다. 가장 뜨거운 GPU 위에 열에 약한 DRAM을 올리는 거니까요ㅋㅋㅋ
그래서 냉각 기술이 해결되기 전까지는 어려운 시나리오로 봅니다.

9-2. PIM / PNM — 메모리가 계산까지 한다

PIM(Processing In Memory)은 데이터를 옮기지 말고 있는 자리에서 계산하자는 발상이에요.

DRAM 뱅크 근처에 간단한 연산 유닛(MAC 등)을 붙여서
누적합이나 요소별 연산 같은 걸 메모리 내부에서 처리하는 거죠.

삼성의 HBM-PIM, SK하이닉스의 AiM(GDDR6-AiM) 등이 대표적인 시도입니다.
특히 HBM4부터 베이스 다이가 로직 공정으로 만들어지면서 PIM 구현 난이도가 확 낮아졌어요.

9-3. 커스텀 HBM 시대

이미 시작된 흐름입니다. 빅테크들이 자체 AI 칩(TPU, Trainium, MTIA 등)을 만들면서
"우리 칩 워크로드에 최적화된 HBM"을 요구하기 시작했어요.

→ 채널 구성 변경, 특정 기능 블록 추가, 전력 프로파일 커스터마이징 등.
메모리가 '사오는 부품'에서 '같이 설계하는 파트너'로 바뀌는 중입니다.

❓ 10장. 자주 나오는 궁금증 Q&A

🎁 마무리: HBM이 우리에게 알려주는 것

여기까지 오느라 고생하셨어요 ㅋㅋㅋ 👏

HBM 이야기를 쭉 따라오면 하나의 큰 교훈이 보입니다.

전기전자 시스템공학의 본질이 바로 이겁니다.
소자 하나를 잘 만드는 게 아니라, 시스템 전체에서 병목이 어디인지 찾아내고 구조로 해결하는 것.

지금 AI 반도체 경쟁이 "누가 더 빠른 연산기를 만드느냐"가 아니라
"누가 더 잘 쌓고, 더 잘 연결하고, 더 잘 식히느냐"로 옮겨간 것도 같은 맥락이에요.

앞으로 하이브리드 본딩, PIM, 광 인터커넥트(실리콘 포토닉스), 3D 모놀리식까지…
"데이터 이동"을 둘러싼 싸움은 계속될 겁니다.

그리고 그 싸움의 한가운데에, 아파트처럼 차곡차곡 쌓인 작은 실리콘 탑 하나가 서 있는 거죠. 🏢✨