콘텐츠 대표 이미지 - 다차원 배열을 압축하는 텐서 분해(CP·터커 분해)와 초대규모 신경망 경량화의 수학

다차원 배열을 압축하는 텐서 분해(CP·터커 분해)와 초대규모 신경망 경량화의 수학

숫자가 가로·세로로만 있으면 행렬, 거기에 깊이까지 쌓이면 텐서야. 이 거대한 숫자 큐브를 몇 개의 가느다란 벡터로 "접어서" 보관하는 기술, 그리고 그 기술이 수십억 파라미터짜리 신경망을 스마트폰에 올리는 데 어떻게 쓰이는지 같이 뜯어보자.

텐서를 랭크-1 조각들로 쪼개기 𝓧 I × J × K ≈ a₁∘b₁∘c₁ + a₂∘b₂∘c₂ + ⋯ + a_R∘b_R∘c_R 원본 저장량: I·J·K 개 CP 저장량: R·(I+J+K) 개 예) 100×100×100 = 100만 개 → 랭크 10이면 3,000개

CP 분해의 핵심 그림. 빨강(모드-1), 파랑(모드-2), 초록(모드-3) 벡터 세 개의 외적이 큐브 하나를 만든다.

솔직히 말하면 "텐서 분해"라는 단어는 처음 들으면 좀 겁나. 그런데 아이디어 자체는 놀랄 만큼 소박해. "큰 덩어리를 단순한 조각들의 합으로 다시 표현하자", 이게 전부야. 우리가 숫자 360을 2³×3²×5로 소인수분해하듯, 거대한 숫자 큐브를 가느다란 벡터들의 조합으로 분해하는 거지. 다만 차원이 하나 늘어나는 순간 행렬 세계에서 당연했던 성질들이 하나둘 무너지기 시작하고, 바로 거기서 "어려운 수학"의 맛이 나와.

이 글에서는 먼저 텐서를 다루는 기본 언어(모드, 언폴딩, 모드-n 곱)를 정리하고, 행렬의 특이값 분해(SVD)를 디딤돌 삼아 CP 분해와 터커 분해로 넘어갈 거야. 그다음 텐서 트레인 같은 친척들을 짧게 훑고, 마지막으로 이 수학이 합성곱 신경망, 트랜스포머, 대규모 언어 모델(LLM)의 파라미터를 줄이는 데 실제로 어떻게 쓰이는지 숫자를 직접 계산해 보면서 마무리할게.

1. 텐서라는 숫자 큐브, 기본 용어부터 맞추기

차수(order)와 모드(mode)

수학·공학에서 말하는 텐서는 여기서는 간단히 다차원 배열이라고 생각하면 돼(물리학의 좌표 변환 법칙을 따르는 텐서와는 관점이 조금 달라). 인덱스가 몇 개 필요하냐가 차수(order), 혹은 "웨이(way)"야.

0차스칼라. 숫자 하나. 예: 온도 23.5
1차벡터. 인덱스 1개. 예: 단어 임베딩 하나
2차행렬. 인덱스 2개. 예: 흑백 사진
3차 이상고차 텐서. 예: 컬러 영상(높이×너비×채널), 동영상(+시간)

3차 텐서 𝓧 ∈ ℝI×J×K의 원소는 xijk로 적어. 각 인덱스 방향을 모드라고 부르는데, i 방향이 모드-1, j가 모드-2, k가 모드-3이야. 행렬에서 "행 방향, 열 방향"을 부르던 말을 일반화한 거라고 보면 돼.

파이버(fiber)와 슬라이스(slice)

큐브에서 인덱스 하나만 자유롭게 두고 나머지를 고정하면 막대기 모양 벡터가 나와. 이게 파이버야. x:jk는 모드-1 파이버(세로 기둥), xi:k는 모드-2 파이버(가로 막대), xij:는 모드-3 파이버(깊이 방향 튜브)지. 반대로 인덱스 둘을 자유롭게 두고 하나만 고정하면 얇은 판, 즉 슬라이스가 나와. 컬러 이미지에서 "빨강 채널만 꺼낸 것"이 정확히 정면 슬라이스(frontal slice)야.

언폴딩(matricization): 큐브를 펼쳐서 행렬로

텐서 분해 알고리즘 대부분은 결국 행렬 연산으로 돌아가. 그래서 큐브를 행렬로 펴는 작업이 필수인데, 이걸 모드-n 언폴딩 또는 행렬화라고 해. 모드-n 파이버들을 열로 쭉 세워 붙이면 X(n)이라는 행렬이 나와.

𝓧 ∈ ℝI×J×K  →  X(1) ∈ ℝI×(JK),  X(2) ∈ ℝJ×(IK),  X(3) ∈ ℝK×(IJ)

예를 들어 2×3×4 텐서를 모드-1로 펴면 2×12 행렬, 모드-3으로 펴면 4×6 행렬이 돼. 원소 개수(24)는 그대로고 배치만 바뀌는 거야. 열을 어떤 순서로 나열하느냐는 관례 문제인데, Kolda와 Bader의 2009년 리뷰 논문 「Tensor Decompositions and Applications」에서 쓰는 관례가 사실상 표준처럼 쓰여. 실제 코드(NumPy 등)에서는 메모리 배치(행 우선/열 우선) 때문에 이 순서가 라이브러리마다 다를 수 있으니, 직접 구현할 땐 순서를 한 번 꼭 확인해야 해.

모드-n 곱: 한 방향으로만 행렬 곱하기

텐서에 행렬을 곱한다는 건 "특정 모드의 모든 파이버에 그 행렬을 곱한다"는 뜻이야. 텐서 𝓧 ∈ ℝI×J×K와 행렬 U ∈ ℝP×I의 모드-1 곱은

(𝓧 ×1 U)pjk = Σi upi xijk,   결과 크기 P×J×K

언폴딩으로 쓰면 더 깔끔해: 𝓨 = 𝓧 ×n U ⇔ Y(n) = U X(n). 즉 "펴서, 왼쪽에서 곱하고, 다시 접는다". 서로 다른 모드의 곱은 순서를 바꿔도 결과가 같아. 이 연산이 터커 분해의 뼈대가 돼.

세 가지 행렬 곱: 크로네커, 카트리-라오, 아다마르

이름기호정의크기
크로네커 곱A ⊗ BA의 각 원소 aij에 B 전체를 곱해 블록으로 배치(IK)×(JL)
카트리-라오 곱A ⊙ B열끼리 짝지어 크로네커 곱 (열 개수가 같아야 함)(IJ)×R
아다마르 곱A ∗ B같은 위치 원소끼리 곱A와 동일

이 셋이 왜 중요하냐면, 뒤에 나올 CP 분해의 언폴딩 공식이 정확히 이 언어로 쓰이기 때문이야. 지금은 "카트리-라오 = 열 단위 크로네커" 하나만 기억해 둬.

외적(outer product) 한 줄 정리벡터 a ∈ ℝI, b ∈ ℝJ, c ∈ ℝK의 외적 a∘b∘c는 (a∘b∘c)ijk = aibjck인 3차 텐서야. 이렇게 벡터 외적 하나로 쓸 수 있는 텐서를 랭크-1 텐서라고 불러. 숫자는 I·J·K개인데 정보는 I+J+K개뿐인, 가장 단순한 텐서지.

2. 출발점: 행렬의 특이값 분해(SVD)와 저랭크 근사

텐서 분해를 이해하려면 행렬 세계의 영웅인 SVD부터 다시 만나야 해. 어떤 실수 행렬 A ∈ ℝm×n이든 이렇게 쓸 수 있어.

A = U Σ VT = Σr=1rank σr ur vrT,   σ1 ≥ σ2 ≥ … ≥ 0

여기서 ur vrT는 2차 버전의 랭크-1 조각이야. 즉 SVD 자체가 "행렬 = 랭크-1 행렬들의 가중합"이고, CP 분해는 이 문장을 3차 이상으로 그대로 옮긴 거야.

에카르트-영 정리: 잘라내기가 최적이다

SVD가 사랑받는 이유는 에카르트-영(Eckart–Young) 정리 덕분이야. 큰 특이값부터 k개만 남긴 Ak = Σr≤k σrurvrT가 랭크 k 이하의 모든 행렬 중에서 프로베니우스 노름(그리고 스펙트럼 노름) 오차를 최소화해. 오차도 정확히 계산돼.

‖A − Ak‖F2 = σk+12 + σk+22 + …

그러니까 행렬에서는 "최적의 압축"을 구하는 게 다항 시간 안에, 유일하게(특이값이 서로 다르면), 순서대로 가능해. k=5의 최적해가 k=4 최적해에 조각 하나를 더한 형태라는 것도 (중첩성, nestedness) 공짜로 따라와. 이 편안함이 텐서로 가는 순간 거의 다 사라진다는 게 이 이야기의 반전 포인트야.

특이값 감소와 잘라내기 지점 여기서 자르기 (k=6) 남은 조각들의 제곱합 = 근사 오차의 제곱 보존하는 성분 버리는 성분 σᵣ 크기 순위 r →

실제 데이터와 학습된 가중치 행렬은 특이값이 빠르게 줄어드는 경우가 많다. 그 "꼬리"를 잘라내는 것이 저랭크 압축이다.

왜 실제 데이터는 저랭크에 가까울까?

무작위 잡음 행렬은 특이값이 비교적 고르게 퍼져 있어서 잘라내면 손해가 커. 그런데 사진, 추천 시스템의 평점, 센서 신호, 그리고 학습이 끝난 신경망 가중치는 대체로 몇 개의 큰 특이값에 에너지가 몰려 있는 경향을 보여. 데이터 밑에 깔린 "숨은 요인"의 수가 겉보기 차원보다 훨씬 적다는 뜻이야. 넷플릭스 프라이즈 시절 행렬 분해 기반 추천이 강했던 것도, 사람 취향이 수천 개 영화 차원이 아니라 소수의 잠재 요인(장르 선호, 분위기 선호 등)으로 대부분 설명되기 때문이었지.

단, 이건 "경향"이지 법칙은 아니야. 어떤 층은 특이값이 완만하게 줄어들어 압축에 저항하고, 이게 뒤에서 이야기할 "층마다 다른 랭크 선택" 문제로 이어져.

3. CP 분해: 큐브를 랭크-1 조각들의 합으로

정의

CP 분해는 이름이 여러 개야. 1927년 히치콕(F. L. Hitchcock)이 처음 제안했고, 1970년 심리측정학 쪽에서 Carroll과 Chang이 CANDECOMP(canonical decomposition), Harshman이 PARAFAC(parallel factors)이라는 이름으로 독립적으로 재발견했어. 그래서 둘을 합쳐 CP라고 부르고, "canonical polyadic"의 약자로 읽기도 해.

𝓧 ≈ Σr=1R λr ar ∘ br ∘ cr = ⟦λ; A, B, C⟧

A = [a1 … aR] ∈ ℝI×R처럼 각 모드의 벡터를 열로 모은 걸 인자 행렬(factor matrix)이라고 해. 원소 하나로 쓰면 xijk ≈ Σr λr air bjr ckr. 단 세 개의 얇은 행렬과 가중치 벡터만으로 큐브 전체를 복원하는 구조야.

언폴딩 형태가 알고리즘에서 특히 중요해(λ를 인자 행렬에 흡수했다고 치면).

X(1) ≈ A (C ⊙ B)T,   X(2) ≈ B (C ⊙ A)T,   X(3) ≈ C (B ⊙ A)T

아까 말한 카트리-라오 곱이 바로 여기서 등장해. 이 공식 하나 덕분에 "다른 인자를 고정하면 남은 하나는 그냥 최소제곱 문제"가 되고, 그게 뒤의 ALS 알고리즘이야.

텐서 랭크: 정의는 쉬운데 계산은 지옥

텐서 𝓧를 정확히 표현하는 데 필요한 랭크-1 조각의 최소 개수를 텐서 랭크라고 해. 행렬 랭크의 자연스러운 일반화처럼 보이지만, 성질은 딴판이야.

계산 난이도Håstad(1990)는 3차 텐서의 랭크 결정이 NP-완전임을 보였고, Hillar와 Lim(2013, 「Most Tensor Problems Are NP-Hard」)은 랭크 계산, 최적 랭크-1 근사 등 여러 텐서 문제가 NP-난해임을 정리했어.
체(field)에 따라 달라짐같은 실수 텐서라도 실수 범위에서의 랭크와 복소수 범위에서의 랭크가 다를 수 있어. 행렬에서는 절대 안 생기는 일이지.
최대 랭크 > 크기행렬 랭크는 min(m,n)을 못 넘지만, 텐서 랭크는 한 변 길이보다 클 수 있어. 예를 들어 실수 2×2×2 텐서의 최대 랭크는 3이야.
전형적 랭크가 여러 개실수 2×2×2 텐서를 무작위로 뽑으면 랭크 2와 랭크 3이 모두 양의 확률로 나와. "거의 항상 이 랭크"라는 게 하나로 안 정해져.

가장 무서운 성질: 최적 근사가 존재하지 않을 수 있다

행렬에서는 "랭크 k 최적 근사"가 항상 존재했어(에카르트-영). 텐서에서는? de Silva와 Lim(2008)이 보였듯이, 랭크 R 이하 텐서의 집합이 닫혀 있지 않아서 최적 저랭크 근사가 아예 존재하지 않는 텐서가 있어. 랭크 2 텐서들의 수열이 랭크 3 텐서로 한없이 다가갈 수 있다는 거야. 고전적인 예를 볼게.

𝓧 = a∘a∘b + a∘b∘a + b∘a∘a  (랭크 3)
𝓧n = n(a + b/n)∘(a + b/n)∘(a + b/n) − n a∘a∘a  (랭크 2)

𝓧n을 전개하면 𝓧 + (1/n)(…) + (1/n²)(…) 꼴이라 n → ∞일 때 𝓧로 수렴해. 랭크 2짜리로 랭크 3 텐서에 얼마든지 가까이 갈 수 있는데, 정확히 도달은 못 하는 거지. 이렇게 극한으로만 도달되는 랭크를 보더 랭크(border rank)라고 해.

실용적으로 이게 왜 무섭냐면, 수치 최적화를 돌리면 두 조각 n(a+b/n)∘…와 −n a∘a∘a처럼 크기가 폭발하면서 서로 상쇄하는 인자들이 나타나. 이걸 CP 퇴화(degeneracy)라고 부르고, 오차는 조금씩 줄어드는데 인자 노름은 발산하는 기묘한 현상이 생겨. 뒤에서 신경망에 CP를 적용할 때 "불안정하다"는 보고가 나오는 이유 중 하나가 바로 이 성질이야.

흔한 오해: "텐서 랭크도 SVD처럼 하나씩 벗겨내면 된다"행렬에서는 최적 랭크-1 근사를 빼고, 남은 것에서 다시 최적 랭크-1을 빼는 탐욕 방식이 SVD를 정확히 재현해. 텐서에서는 이 방식이 일반적으로 최적 랭크-R 분해를 주지 않아. 랭크-2 최적해의 두 조각이 랭크-1 최적해를 포함하지 않을 수 있거든. 중첩성이 깨진다는 거야.

그럼에도 CP가 사랑받는 이유: 유일성

여기서 대반전. 행렬 분해는 사실 유일하지 않아. A = BCT이면 아무 가역행렬 M에 대해 A = (BM)(CM−T)T도 성립하지. 그래서 행렬 분해로 "진짜 숨은 요인"을 찾는 건 직교성 같은 추가 제약 없이는 불가능해. 반면 CP 분해는 꽤 약한 조건에서 스케일과 순서 바꾸기를 제외하면 유일해. 가장 유명한 충분조건이 크루스칼(Kruskal, 1977)의 조건이야.

kA + kB + kC ≥ 2R + 2

여기서 kA는 k-랭크(크루스칼 랭크), 즉 "A의 열을 아무렇게나 k개 골라도 항상 선형독립인 최대 k"야. 예를 들어 R=3이고 세 인자 행렬의 열이 모두 일반적인 위치(k=3)라면 9 ≥ 8로 조건이 만족돼서 분해가 유일해.

이 유일성 덕분에 CP(PARAFAC)는 화학(형광 분광 데이터에서 순수 성분 스펙트럼 분리), 신경과학(EEG 시간×주파수×채널 분석), 신호처리(블라인드 소스 분리) 같은 데서 "해석 가능한 요인"을 뽑는 도구로 오래 쓰여 왔어. 행렬로는 구분 못 하던 걸, 차원 하나 더 쌓아서 구분해 내는 셈이지.

계산 방법: ALS(교대 최소제곱)

CP를 구하는 가장 고전적인 알고리즘이 ALS(Alternating Least Squares)야. 세 인자를 동시에 최적화하면 비선형이라 어렵지만, B와 C를 고정하면 A에 대해서는 선형 최소제곱이 되잖아. 그래서 하나씩 돌아가며 푸는 거야.

랭크 R을 정하고 A, B, C를 초기화한다 (무작위 또는 각 언폴딩의 앞쪽 특이벡터로).
A ← X(1)(C ⊙ B)(CTC ∗ BTB)† 로 A를 갱신한다.
B ← X(2)(C ⊙ A)(CTC ∗ ATA)†, 이어서 C ← X(3)(B ⊙ A)(BTB ∗ ATA)†.
각 열의 노름을 λ로 빼내 정규화한다.
상대 오차 변화가 충분히 작아질 때까지 2~4를 반복한다.

갱신식에서 눈여겨볼 트릭은 (C ⊙ B)T(C ⊙ B) = CTC ∗ BTB라는 항등식이야. 원래라면 JK×R 크기의 거대한 행렬로 의사역행렬을 구해야 하는데, 이 항등식 덕분에 R×R 행렬 하나의 역만 구하면 돼. 수학적 성질이 그대로 계산 비용 절약으로 이어지는 예쁜 장면이지. 계산의 실제 병목은 X(1)(C ⊙ B) 부분인데, 이걸 MTTKRP(matricized tensor times Khatri–Rao product)라고 부르고, 대규모 희소 텐서 라이브러리들은 이 연산 최적화에 공을 많이 들여.

ALS는 구현이 간단하지만 단점도 분명해. 오차가 거의 줄지 않는 정체 구간, 이른바 "늪(swamp)"에 빠지기 쉽고, 앞서 말한 퇴화 상황에서는 수렴이 매우 느려져. 그래서 실무에서는 라인 서치, 정칙화(인자 노름에 페널티), 레벤버그-마쿼트 같은 2차 방법, 혹은 경사하강 기반 방법을 섞어 써.

파라미터 수 비교3차 텐서 I×J×K를 랭크 R CP로 저장하면 R(I+J+K)개(λ는 흡수 가능). 일반적인 N차 텐서, 각 변 길이 I라면 원본 IN개가 NIR개로 줄어. 차수 N에 대해 지수에서 선형으로 떨어진다는 게 핵심이야. 이른바 "차원의 저주"를 정면으로 피해 가는 구조지.

4. 터커 분해: 작은 코어 큐브와 세 개의 기저

정의

터커(L. R. Tucker)가 1960년대 심리측정학 연구에서 다듬은 분해야. CP가 "조각들의 단순 합"이라면, 터커는 "각 모드마다 기저를 따로 고르고, 그 기저 조합들 사이의 상호작용을 작은 코어 텐서에 담는다"는 발상이야.

𝓧 ≈ 𝓖 ×1 A ×2 B ×3 C = ΣpΣqΣr gpqr ap∘bq∘cr

𝓖 ∈ ℝP×Q×R가 코어 텐서, A ∈ ℝI×P, B ∈ ℝJ×Q, C ∈ ℝK×R이 인자 행렬이야. 보통 인자 행렬은 직교 열을 갖도록 잡아. 두 번째 표현을 보면 이것도 랭크-1 조각들의 합인데, CP와 달리 모든 (p,q,r) 조합이 등장하고 그 가중치가 gpqr이야. CP는 코어가 대각(초대각) 텐서인 터커의 특수한 경우라고 볼 수 있어.

터커 분해의 구조 𝓧 I×J×K ≈ A I×P 𝓖 P×Q×R 코어 Bᵀ Q×J C K×R (깊이 방향) 저장량: PQR + IP + JQ + KR 예) 100×100×100, P=Q=R=10 → 1,000 + 3,000 = 4,000개

코어 𝓖는 각 모드 기저들이 어떻게 섞이는지를 담은 작은 큐브다. 세 인자 행렬은 각 모드의 "핵심 방향"을 담는다.

다중선형 랭크: 터커의 랭크는 계산하기 쉽다

터커 분해에서 의미 있는 랭크 개념은 다중선형 랭크(multilinear rank), 혹은 n-랭크야. (rank(X(1)), rank(X(2)), rank(X(3))) 이 세 숫자의 묶음이지. 각각이 언폴딩 행렬의 랭크라서 그냥 행렬 랭크 계산으로 구할 수 있어. CP의 텐서 랭크가 NP-난해였던 것과 대조적이야. 세 값이 서로 달라도 된다는 점도 행렬과 다르지(행렬은 행 랭크 = 열 랭크였잖아).

HOSVD: 각 모드에 SVD를 한 번씩

De Lathauwer, De Moor, Vandewalle은 2000년 논문 「A Multilinear Singular Value Decomposition」에서 터커 분해를 SVD의 다중선형 일반화로 정리했어. 이른바 HOSVD(고차 특이값 분해)야. 절차가 정말 직관적이야.

각 모드 n에 대해 언폴딩 X(n)의 SVD를 구한다.
왼쪽 특이벡터 중 앞쪽 Rn개를 인자 행렬 U(n)로 쓴다.
코어는 𝓖 = 𝓧 ×1 U(1)T ×2 U(2)T ×3 U(3)T 로 계산한다.

잘라내지 않은(완전한) HOSVD에서는 코어가 대각은 아니지만 모든 직교성(all-orthogonality)과 순서성(ordering)이라는 성질을 가져. 각 모드의 슬라이스들이 서로 직교하고, 슬라이스의 프로베니우스 노름이 그 모드의 특이값과 같아서 큰 것부터 정렬돼. 행렬 SVD의 대각 Σ가 이렇게 일반화된 거야.

잘라낸 HOSVD는 최적이 아니다, 하지만 꽤 괜찮다

여기서도 텐서의 까다로움이 등장해. 특이벡터를 잘라낸(truncated) HOSVD는 주어진 다중선형 랭크에서 최적 근사가 아니야. 다만 오차 상한이 알려져 있어. N차 텐서에서 잘라낸 HOSVD의 오차는 최적 오차의 √N배를 넘지 않아. 그리고 각 모드에서 버린 특이값 제곱합들을 모두 더한 값으로 오차 제곱의 상한을 잡을 수 있지.

‖𝓧 − 𝓧̂HOSVD‖F ≤ √N · ‖𝓧 − 𝓧̂best‖F

3차 텐서라면 최악이어도 최적의 약 1.73배. 실제로는 이보다 훨씬 최적에 가까운 경우가 많아서, 신경망 압축에서는 HOSVD 결과를 그대로 쓰거나 초기값으로 쓴 다음 미세조정(fine-tuning)으로 마무리하는 게 흔해.

HOOI: 교대로 다듬어서 더 좋게

최적에 더 가까이 가고 싶으면 HOOI(Higher-Order Orthogonal Iteration)를 써. 다른 모드의 인자를 고정하고, 𝓨 = 𝓧 ×2 BT ×3 CT 같은 투영된 텐서의 모드-1 언폴딩에서 앞쪽 특이벡터를 뽑아 A를 갱신하는 식으로 돌아가며 반복해. 최적 근사 문제가 사실상 "‖𝓧 ×1 AT ×2 BT ×3 CT‖를 최대화하는 직교 행렬 찾기"와 동치라는 성질을 이용한 거야. 전역 최적은 보장 못 하지만 HOSVD로 초기화하면 대체로 안정적으로 개선돼.

터커의 약점: 코어가 차수에 대해 지수적으로 커진다코어 크기는 R1R2…RN이야. 3차, 4차 정도면 문제없지만 10차 텐서에 각 랭크 10이면 코어만 1010개. 차원의 저주가 코어로 자리만 옮긴 거지. 그래서 아주 고차인 텐서에는 뒤에 나올 텐서 트레인 같은 구조가 필요해.

5. CP와 터커, 한눈에 비교

항목CP 분해터커 분해
구조랭크-1 조각 R개의 합코어 텐서 + 모드별 인자 행렬
저장량 (3차, 변 길이 I)3IRR³ + 3IR (각 모드 랭크 R)
N차로 확장 시NIR, 차수에 선형RN + NIR, 코어가 지수적
랭크 결정NP-난해언폴딩 행렬 랭크로 쉽게 계산
최적 근사의 존재존재하지 않을 수 있음 (퇴화)항상 존재 (직교 행렬 집합이 컴팩트)
유일성크루스칼 조건 등에서 본질적으로 유일유일하지 않음 (코어 쪽 회전 자유)
대표 알고리즘ALS, 정칙화 ALS, 경사법HOSVD, HOOI
주 용도해석 가능한 요인 추출, 극단적 압축안정적 압축, 부분공간 분석
신경망 압축 체감압축률 높지만 분해·미세조정이 까다로움압축률은 덜하지만 안정적

요약하면 CP는 날렵하지만 예민한 스포츠카, 터커는 짐이 좀 더 들어가지만 운전하기 편한 SUV야. 터커는 인자 행렬을 직교로 잡으면 수치적으로 얌전하고 HOSVD라는 결정적(deterministic) 초기화가 있어서 재현성이 좋아. CP는 같은 랭크 예산으로 더 많이 압축하지만, 초기값과 랭크에 따라 결과가 크게 흔들릴 수 있어.

6. 고차 텐서를 위한 친척들: 텐서 트레인과 텐서 링

텐서 트레인(TT) 분해

Oseledets가 2011년 SIAM Journal on Scientific Computing에 발표한 「Tensor-Train Decomposition」은 아주 고차인 텐서를 다루기 위한 구조야(양자물리의 행렬곱 상태 MPS와 같은 형태). 원소 하나를 작은 행렬들의 곱으로 표현해.

xi1i2…iN = G1[i1] G2[i2] ⋯ GN[iN]

Gk[ik]는 rk−1×rk 크기 행렬이고 양 끝은 r0 = rN = 1이라 결과는 스칼라가 돼. 각 코어 Gk는 rk−1×Ik×rk 3차 텐서고, 기차 칸처럼 이어져서 "트레인"이야. 저장량은 대략 N·I·r²로, 차수 N에 선형이야. 터커의 지수적 코어 문제를 깔끔하게 피하지.

게다가 TT-SVD라는 알고리즘으로, 언폴딩을 순차적으로 바꿔 가며 SVD를 반복 적용해 TT 형태를 얻을 수 있어. 각 단계의 잘라내기 오차를 제어하면 전체 오차에 대한 보장까지 얻을 수 있다는 점이 CP 대비 큰 장점이야. 텐서 트레인 랭크(각 rk)도 특정 언폴딩 행렬의 랭크로 정의되어서 계산이 쉬워.

텐서 링(TR)

TT의 양 끝 랭크를 1로 고정하지 않고 r0 = rN > 1로 둔 다음 마지막에 대각합(trace)을 취하면 원형으로 연결된 텐서 링이 돼. 첫 코어와 끝 코어의 비대칭이 사라지는 대신, TT-SVD 같은 깔끔한 보장 알고리즘을 쓰기가 더 어려워져.

"텐서화(tensorization)"라는 마법

여기서 신경망 압축에 아주 중요한 아이디어가 나와. 원래 2차인 행렬도 억지로 고차 텐서로 접을 수 있다는 거야. 예를 들어 1024×1024 행렬은 각 축 1024 = 4×4×4×4×4로 쪼갠 다음 행·열 인덱스를 짝지으면, (4×4)가 5번 이어진 10차 텐서, 혹은 16×16×16×16×16 같은 5차 텐서로 볼 수 있어. 이렇게 접고 나서 TT 분해를 하면 원래 행렬에서는 안 보이던 다단계 구조를 잡아낼 수 있지. Novikov 등(2015, 「Tensorizing Neural Networks」)이 완전연결층 가중치를 이렇게 TT 형식("TT-layer")으로 표현해서 해당 층의 파라미터를 극단적으로 줄인 게 대표 사례야.

세 분해의 저장량 정리 (N차, 변 길이 I, 랭크 R)원본: IN  |  CP: NIR  |  터커: RN + NIR  |  텐서 트레인: 약 NIR²
CP와 TT는 차수에 선형, 터커만 코어가 지수적이야. 대신 TT는 SVD 기반의 안정적인 알고리즘이 있다는 게 큰 장점이야.

7. 신경망은 왜 텐서 덩어리인가

이제 본론의 두 번째 축이야. 딥러닝 모델의 파라미터는 사실 대부분 텐서야.

완전연결층W ∈ ℝdout×din, 2차 텐서(행렬)
합성곱층𝓚 ∈ ℝT×S×D×D, 출력 채널×입력 채널×커널 높이×너비의 4차 텐서
트랜스포머 어텐션Q·K·V·출력 투영 행렬 4개, 여러 헤드를 묶으면 3차로도 볼 수 있음
임베딩 테이블어휘 크기×차원의 거대한 행렬, 추천 시스템에선 수억 행까지

그러니 텐서 분해를 가중치에 적용하는 건 아주 자연스러운 발상이야. 문제는 두 가지야. 첫째, 분해 후 정확도를 얼마나 유지하느냐. 둘째, 분해된 구조가 실제 하드웨어에서 정말 빨라지느냐. 파라미터 수와 FLOPs(부동소수점 연산 수)가 줄어도 실제 지연시간(latency)은 안 줄 수 있거든. 이 두 질문을 들고 하나씩 보자.

가장 단순한 출발점: 완전연결층의 SVD 분해

dout×din 행렬 W를 랭크 r로 근사하면 W ≈ UV, U ∈ ℝdout×r, V ∈ ℝr×din. 층 하나를 폭이 r인 병목을 가진 두 층으로 바꾸는 셈이야(중간에 비선형 활성화는 넣지 않아).

파라미터: dout·din  →  r(dout + din)
이득 조건: r < dout·din / (dout + din)

예를 들어 4096×4096 층(약 1,678만 개)을 r=512로 줄이면 512×8192 = 4,194,304개, 딱 1/4이야. 정사각 행렬에서 r이 d/2를 넘으면 오히려 파라미터가 늘어난다는 것도 위 조건에서 바로 보여. "랭크를 줄였는데 왜 더 커졌지?" 하는 초보 실수가 꽤 흔해.

Denil 등(2013, 「Predicting Parameters in Deep Learning」)은 신경망 가중치가 상당히 중복되어 있어서 일부만으로 나머지를 예측할 수 있다는 걸 보였고, Denton 등(2014)과 Jaderberg 등(2014)은 합성곱 신경망의 저랭크 근사로 속도를 높이는 방법을 제시했어. 이 일련의 연구가 "학습된 가중치는 저랭크 구조를 품고 있다"는 직관을 실험적으로 다져 놨지.

8. 합성곱층을 쪼개는 두 가지 대표 레시피

원본 합성곱의 비용

입력 채널 S, 출력 채널 T, 커널 D×D인 합성곱층의 가중치는 T·S·D² 개야. 출력 공간 크기가 H'×W'이면 곱셈-누산(MAC) 횟수는 대략 H'W'·T·S·D². 예시로 S=T=256, D=3이면 가중치는 256×256×9 = 589,824개.

레시피 1: CP 분해 합성곱 (Lebedev 등, 2015)

Lebedev 등은 ICLR 2015 논문 「Speeding-up Convolutional Neural Networks Using Fine-tuned CP-Decomposition」에서 4차 커널 텐서를 랭크 R로 CP 분해했어.

K(t, s, y, x) ≈ Σr=1R Ut(t,r) · Us(s,r) · Uy(y,r) · Ux(x,r)

이 식을 합성곱 연산에 대입해서 합의 순서를 바꾸면, 원래 층이 네 개의 가벼운 층으로 바뀌어.

1×1 합성곱: S개 입력 채널 → R개 채널 (Us 사용)
D×1 채널별(depthwise) 합성곱: 각 채널을 세로 방향으로만 (Uy)
1×D 채널별 합성곱: 각 채널을 가로 방향으로만 (Ux)
1×1 합성곱: R개 채널 → T개 출력 채널 (Ut)

파라미터는 R(S + 2D + T). 위 예시에 R=64를 넣으면 64×(256+6+256) = 64×518 = 33,152개, 원본 대비 약 17.8배 압축이야. 이 구조가 나중에 유행한 깊이별 분리 합성곱(depthwise separable convolution, MobileNet 계열)과 닮았다는 점이 흥미로워. 경량 아키텍처를 손으로 설계한 것과 CP 분해로 "유도"한 것이 비슷한 모양으로 수렴하는 거지.

이 논문은 분해 후 전체 네트워크를 미세조정하면 정확도 손실을 크게 줄일 수 있음을 보여 줬어. 동시에 CP 분해 자체의 불안정성(앞서 말한 퇴화) 때문에 아주 깊은 네트워크의 여러 층에 적용하기는 까다롭다는 점도 지적됐지. 이후 연구들이 CP 분해의 수치 안정성 문제를 다루는 쪽으로 이어진 이유야.

레시피 2: 터커-2 분해 합성곱 (Kim 등, 2016)

Kim 등의 ICLR 2016 논문 「Compression of Deep Convolutional Neural Networks for Fast and Low Power Mobile Applications」는 커널의 공간 차원(D×D)은 원래 작으니 그대로 두고, 채널 두 모드만 터커로 분해했어. 이걸 터커-2라고 불러.

𝓚 ≈ 𝓒 ×1 U(T) ×2 U(S),    𝓒 ∈ ℝR4×R3×D×D

그 결과는 1×1(S→R3) → D×D(R3→R4) → 1×1(R4→T)의 세 층 구조. ResNet의 병목(bottleneck) 블록과 똑같은 모양이야. 파라미터는 S·R3 + R3R4D² + R4·T.

같은 예시에 R3 = R4 = 64를 넣으면 256×64 + 64×64×9 + 64×256 = 16,384 + 36,864 + 16,384 = 69,632개, 약 8.5배 압축이야. CP보다 압축률은 낮지만, 가운데 층이 일반 합성곱이라 표현력에 여유가 있고 분해가 안정적이야.

이 논문의 또 다른 포인트는 랭크 선택이야. 층마다 랭크를 사람이 일일이 정하는 대신, VBMF(변분 베이지안 행렬 분해)를 각 모드 언폴딩에 적용해 랭크를 자동 추정했어. 그리고 분해 → 미세조정의 단순한 파이프라인으로 모바일 기기에서 실제 실행 시간과 에너지 소비 감소를 측정해 보고했지.

3×3 합성곱 하나를 세 층으로 원본 3×3 합성곱: 256 → 256 채널 가중치 589,824개 ▼ 터커-2 분해 (랭크 64, 64) ① 1×1: 256 → 64  (16,384개) ② 3×3: 64 → 64 (36,864개) ③ 1×1: 64 → 256  (16,384개) 합계 69,632개 · 약 8.5배 작아짐

상자 폭은 채널 수의 느낌을 나타낸다. 가운데 비싼 3×3 연산이 좁은 64채널 공간에서 일어나는 것이 절약의 핵심이다.

연산량도 같이 줄어들까?

합성곱은 공간 위치마다 같은 가중치를 반복 적용하니까, 공간 크기가 같다면 MAC도 파라미터와 거의 같은 비율로 줄어들어. 위 터커-2 예시에서 출력이 56×56이라면 원본 MAC은 56×56×589,824 ≈ 18.5억 회, 분해 후에는 56×56×69,632 ≈ 2.18억 회 정도야(스트라이드나 패딩을 무시한 단순 계산). 숫자로는 8배 넘게 빨라질 것 같지?

FLOPs가 줄었다고 실제로 빨라지는 건 아니다층 하나를 셋, 넷으로 쪼개면 커널 실행 횟수가 늘고 중간 활성화를 메모리에 썼다 읽는 비용이 생겨. 특히 1×1 합성곱이나 채널별 합성곱은 연산 대비 메모리 접근이 많아서 GPU에서 산술 유닛을 다 못 쓰는 경우가 흔해. 그래서 논문들이 보고하는 이론적 속도 향상과 실측 지연시간 사이에는 차이가 생기고, 기기·라이브러리·배치 크기에 따라 결과가 달라져. 압축을 적용할 땐 반드시 목표 하드웨어에서 직접 측정해야 해.

왜 분해 후 미세조정이 필수인가

분해 알고리즘은 "가중치 텐서의 재구성 오차"를 최소화해. 그런데 우리가 진짜 원하는 건 "네트워크 출력의 오차"를 최소화하는 거잖아. 이 둘은 같지 않아. 가중치에서 작아 보이는 오차도 여러 층을 거치며 누적되거나 증폭될 수 있고, 반대로 가중치 오차가 커도 출력에 거의 영향이 없는 방향도 있어. 그래서 실무 레시피는 거의 항상 분해(초기값 만들기) → 전체 또는 일부 재학습(미세조정)의 2단계야. 아예 처음부터 분해된 구조로 학습하는 방법(저랭크 구조로 초기화해 학습)도 있어.

또한 "가중치 오차" 대신 "출력 활성화 오차"를 직접 최소화하는 데이터 인지형(data-aware) 분해도 있어. 소량의 보정 데이터를 통과시켜 실제 입력 분포에서 중요한 방향을 우선 보존하는 방식인데, LLM 압축에서 특히 활발히 연구되는 접근이야.

9. 초대규모 언어 모델과 저랭크의 수학

요즘 "초대규모 신경망" 하면 수십억~수천억 파라미터의 트랜스포머 기반 LLM이 떠오르지. 이 모델들의 파라미터 대부분은 어텐션 투영 행렬과 피드포워드(MLP) 행렬이야. 즉 거대한 2차 텐서들의 집합이고, 여기서 저랭크 수학이 두 방향으로 쓰여.

방향 ①: 미세조정을 가볍게사전학습 가중치는 그대로 두고, 바뀌는 부분(ΔW)만 저랭크로 학습. 대표: LoRA
방향 ②: 모델 자체를 작게사전학습된 가중치 W를 저랭크로 근사해 추론 비용 절감. 대표: SVD 기반 압축

LoRA: "변화량은 저랭크다"라는 가설

Hu 등(2021)의 「LoRA: Low-Rank Adaptation of Large Language Models」는 아주 단순하고 강력한 아이디어야. 사전학습 가중치 W0 ∈ ℝd×k를 얼려 두고, 미세조정으로 생기는 변화를 두 얇은 행렬의 곱으로 제한해.

h = W0x + ΔW x = W0x + (α/r)·B A x,    B ∈ ℝd×r, A ∈ ℝr×k, r ≪ min(d,k)

A는 무작위(가우시안)로, B는 0으로 초기화해서 학습 시작 시점의 ΔW = 0, 즉 원래 모델에서 출발해. α/r은 랭크를 바꿔도 학습률을 크게 다시 조정하지 않도록 하는 스케일 상수야.

LoRA: 큰 행렬은 얼리고 얇은 두 장만 학습 W₀ d × k (고정 ❄) + B d×r × A r×k (학습 🔥) d=k=4096, r=8 → 학습 파라미터 1,677만 → 65,536개

학습되는 건 노랑·초록의 얇은 두 행렬뿐이다. 추론 시에는 BA를 W₀에 더해 하나로 합칠 수 있다.

숫자를 직접 계산해 볼게. d = k = 4096인 투영 행렬 하나의 파라미터는 4096² = 16,777,216개. r = 8이면 LoRA 파라미터는 r(d+k) = 8×8192 = 65,536개, 약 0.39%야. 이런 행렬이 층마다 여러 개, 층이 수십 개 있으니 전체로 보면 학습 대상이 수천만 개 수준으로 떨어지고, 옵티마이저 상태(Adam의 1·2차 모멘트)도 그만큼만 들고 있으면 돼서 GPU 메모리 부담이 크게 줄어. LoRA 논문은 GPT-3 175B에서 학습 가능한 파라미터 수를 약 1만 배, GPU 메모리 요구량을 약 3배 줄였다고 보고했어.

또 하나의 장점은 추론 지연이 추가되지 않는다는 거야. 학습이 끝나면 W = W0 + BA를 미리 계산해 합쳐 버리면 원래 모델과 똑같은 구조가 되거든. 앞에서 말한 "층을 쪼개면 실제로는 느려질 수 있다" 문제를 깔끔히 피해 가는 설계지.

왜 낮은 랭크로도 충분할까: 내재 차원 가설

LoRA의 이론적 배경에는 Aghajanyan 등(2020)의 「Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning」이 있어. 사전학습된 언어 모델은 미세조정 때 전체 파라미터 공간이 아니라 훨씬 낮은 차원의 무작위 부분공간에서만 움직여도 원래 성능의 상당 부분을 낼 수 있다는 실험 결과야. 그리고 모델이 크고 사전학습이 잘 될수록 이 내재 차원이 오히려 작아지는 경향을 보고했어. "큰 모델일수록 적응은 단순하다"는 직관이지.

LoRA 논문도 학습된 ΔW를 분석해서, 아주 작은 r(심지어 1~2)에서도 잘 작동하는 경우가 있고 서로 다른 r로 학습한 ΔW의 상위 특이 방향들이 상당히 겹친다는 관찰을 내놨어. ΔW가 실제로 저랭크 구조에 가깝다는 간접 증거지.

주의: "가중치가 저랭크"와 "변화량이 저랭크"는 다른 이야기LoRA의 가정은 ΔW가 저랭크라는 거지, 사전학습된 W0 자체가 저랭크라는 게 아니야. 실제로 LLM의 W0를 SVD로 그냥 잘라내면 꽤 높은 랭크를 남겨야 성능이 유지되는 경우가 많아. 그래서 "모델 자체를 저랭크로 압축"하는 방향 ②는 LoRA보다 훨씬 어려운 문제야.

모델 자체를 줄이기: SVD 기반 LLM 압축의 어려움과 요령

사전학습 가중치를 직접 저랭크로 근사하는 연구도 활발해. 단순 SVD 잘라내기는 압축률이 조금만 올라가도 성능이 급격히 떨어지기 쉬운데, 그 이유로 흔히 지적되는 게 두 가지야.

활성화 이상치(outlier): LLM의 일부 입력 채널은 활성화 값이 유독 크게 나타나. 가중치 행렬에서 작아 보이는 성분이라도 이 채널과 곱해지면 출력에 큰 영향을 줘. 그래서 가중치만 보고 자르면 중요한 걸 버리게 돼.
목표 함수의 불일치: SVD는 ‖W − W'‖F를 최소화하지만, 실제 원하는 건 ‖WX − W'X‖F(X는 실제 입력 활성화)를 최소화하는 거야.

그래서 최근 접근들은 보정 데이터의 활성화 통계로 가중치를 먼저 스케일링하거나 화이트닝(whitening)한 뒤 SVD를 적용해서 "출력 기준으로 중요한 방향"을 보존하려 해. 수학적으로는 이렇게 정리돼.

minrank(W')≤r ‖(W − W')X‖F  ⇒  XXT = SST (촐레스키 등)로 놓고 WS를 SVD로 잘라낸 뒤 S−1을 곱해 되돌림

‖(W−W')X‖F² = tr((W−W')XXT(W−W')T) = ‖(W−W')S‖F²이니까, 문제를 "WS의 최적 저랭크 근사"로 바꾸면 에카르트-영 정리를 다시 쓸 수 있는 거야(XXT가 가역이라는 가정 아래). 행렬 SVD의 최적성이라는 오래된 정리가 최신 LLM 압축에서 다시 핵심 도구로 쓰이는 장면이라 꽤 멋있지.

임베딩과 추천 시스템: 텐서 트레인의 홈그라운드

추천 모델의 임베딩 테이블은 행이 수억 개에 달하기도 해서 모델 메모리의 대부분을 차지해. Yin 등(2021, MLSys)의 「TT-Rec: Tensor Train for Deep Learning Recommendation Models」는 이 테이블을 텐서 트레인 형식으로 표현해서 메모리를 크게 줄이는 방법을 다뤘어. 행 인덱스를 여러 작은 인덱스로 쪼개(텐서화) 각 TT 코어에서 해당 조각을 꺼내 곱하면 임베딩 벡터 하나가 즉석에서 복원되는 구조야. 저장 대신 계산을 조금 더 하는 거래지.

언어 모델의 단어 임베딩에도 비슷한 아이디어(TT 임베딩, 텐서화된 임베딩)가 연구됐어. 어휘가 크고 차원이 클수록 이득이 커져.

10. 랭크는 어떻게 고를까: 압축의 진짜 핵심 결정

분해 방법을 골랐다면, 실제 성패는 "층마다 랭크를 얼마로 할지"에서 갈려. 랭크가 너무 낮으면 정확도가 무너지고, 너무 높으면 압축 효과가 없거나 오히려 커져. 대표적인 전략들을 정리해 볼게.

전략방법장점단점
에너지 비율특이값 제곱합의 일정 비율(예: 90%)을 보존하는 최소 r단순, 직관적층마다 민감도가 달라 같은 비율이 같은 손실을 뜻하지 않음
고정 압축률모든 층에 같은 비율로 파라미터 감소예산 관리가 쉬움민감한 층에서 성능 급락
VBMF 등 베이지안 추정잡음 모형을 두고 유의미한 랭크를 자동 추정수동 튜닝 감소모형 가정에 의존
민감도 분석층별로 랭크를 바꿔 가며 검증 성능 변화를 측정실제 성능 기준계산 비용 큼
학습 중 결정정칙화(핵 노름 등)로 랭크가 줄도록 유도하거나 랭크를 동적으로 할당정확도·크기 동시 최적화학습 파이프라인 복잡

여기서 핵 노름(nuclear norm), 즉 특이값의 합 ‖W‖* = Σσi는 랭크 함수의 볼록 대리(convex surrogate)로 유명해. 랭크 자체는 불연속이라 최적화가 어렵지만, 핵 노름은 볼록이라 경사 기반 학습에 페널티로 넣기 좋아. 행렬 완성(matrix completion) 이론에서 출발한 도구가 신경망 압축으로 건너온 예야. 다만 텐서의 경우 "텐서 핵 노름"은 계산 자체가 NP-난해라서, 실무에서는 각 언폴딩의 핵 노름 합 같은 근사를 써.

실전 팁: 처음 압축해 볼 때의 순서① 각 층 가중치(또는 언폴딩)의 특이값 분포부터 그려 봐. 빠르게 꺼지는 층이 압축 1순위야.
② 모델의 첫 층과 마지막 분류층은 보통 민감하니 처음엔 건드리지 마.
③ 압축률을 한 번에 크게 잡지 말고, 층 단위로 조금씩 늘리며 검증 성능을 확인해.
④ 파라미터 수, 이론 FLOPs, 실측 지연시간을 따로 기록해. 셋은 같이 움직이지 않아.
⑤ 미세조정 학습률은 원래 학습보다 작게 시작하는 게 무난해.

11. 손으로 따라 해 보는 코드: HOSVD와 CP-ALS

개념이 진짜 내 것이 되려면 몇 줄이라도 돌려 보는 게 최고야. NumPy만으로 쓴 최소 구현이야. 언폴딩 순서는 NumPy의 행 우선 배치를 따르는데, 접기·펴기만 일관되게 쓰면 분해 결과에는 문제없어. (실무라면 TensorLy 같은 라이브러리를 쓰는 걸 추천해. 수치 안정화 장치가 잘 갖춰져 있거든.)

import numpy as np

def unfold(X, mode):
    # 모드 n을 맨 앞으로 옮기고 나머지를 한 축으로 펼침
    return np.moveaxis(X, mode, 0).reshape(X.shape[mode], -1)

def mode_dot(X, U, mode):
    # 모드-n 곱: 해당 모드의 파이버 전부에 U를 곱함
    Xm = np.moveaxis(X, mode, 0)
    Y = np.tensordot(U, Xm, axes=(1, 0))
    return np.moveaxis(Y, 0, mode)

def hosvd(X, ranks):
    factors = []
    for n, r in enumerate(ranks):
        U, s, Vt = np.linalg.svd(unfold(X, n), full_matrices=False)
        factors.append(U[:, :r])
    core = X
    for n, U in enumerate(factors):
        core = mode_dot(core, U.T, n)
    return core, factors

def tucker_to_tensor(core, factors):
    X = core
    for n, U in enumerate(factors):
        X = mode_dot(X, U, n)
    return X

def khatri_rao(A, B):
    # 열 단위 크로네커 곱
    return np.einsum('ir,jr->ijr', A, B).reshape(-1, A.shape[1])

def cp_als(X, R, iters=200, seed=0):
    rng = np.random.default_rng(seed)
    I, J, K = X.shape
    A, B, C = (rng.standard_normal((n, R)) for n in (I, J, K))
    for _ in range(iters):
        # 행 우선 언폴딩에 맞춘 카트리-라오 순서
        A = unfold(X, 0) @ khatri_rao(B, C) @ np.linalg.pinv((B.T @ B) * (C.T @ C))
        B = unfold(X, 1) @ khatri_rao(A, C) @ np.linalg.pinv((A.T @ A) * (C.T @ C))
        C = unfold(X, 2) @ khatri_rao(A, B) @ np.linalg.pinv((A.T @ A) * (B.T @ B))
    return A, B, C

# 실험: 진짜 랭크-3 텐서에 잡음을 섞고 복원해 보기
rng = np.random.default_rng(1)
a, b, c = rng.standard_normal((20, 3)), rng.standard_normal((30, 3)), rng.standard_normal((40, 3))
X = np.einsum('ir,jr,kr->ijk', a, b, c) + 0.01 * rng.standard_normal((20, 30, 40))

A, B, C = cp_als(X, 3)
Xcp = np.einsum('ir,jr,kr->ijk', A, B, C)
print('CP 상대오차:', np.linalg.norm(X - Xcp) / np.linalg.norm(X))

core, fac = hosvd(X, (3, 3, 3))
print('HOSVD 상대오차:', np.linalg.norm(X - tucker_to_tensor(core, fac)) / np.linalg.norm(X))
print('원본 원소 수:', X.size, '/ CP 저장량:', 3 * (20 + 30 + 40))

이 실험에서 원본 원소는 24,000개, 랭크 3 CP 저장량은 270개야. 데이터가 진짜로 랭크 3 구조(+약한 잡음)를 갖고 있으니 상대 오차는 잡음 수준까지 내려가는 게 일반적이야. 재미있는 실험 거리 몇 개를 던져 볼게.

실험 ①R을 2로 줄여 봐. 오차가 확 뛰는 걸 보면 "랭크 선택"의 무게가 체감될 거야.
실험 ②seed를 바꿔 여러 번 돌려 봐. 인자의 열 순서와 부호·스케일은 달라도 같은 성분을 찾는지 확인하면 CP 유일성이 보여.
실험 ③잡음을 크게 키우거나 R을 진짜 랭크보다 크게 잡아 봐. 인자 노름이 커지며 서로 상쇄하는 퇴화의 기미를 관찰할 수 있어.

이런 실험 노트를 정리해 두면 공부에도 좋고, 수학·데이터 분석 과외나 튜토리얼 제작 같은 재능으로 이어지기도 해. 실제로 재능넷 같은 재능 공유 플랫폼에서는 선형대수·머신러닝 개념을 코드와 그림으로 풀어 주는 강의 수요가 꾸준하니까, 이런 "손으로 돌려 본 경험"이 꽤 쓸모 있는 무기가 돼.

12. 텐서 분해가 다른 경량화 기법과 만나는 지점

신경망 경량화에는 텐서 분해 말고도 대표 선수들이 있어. 이들은 경쟁 관계라기보다 서로 다른 종류의 중복을 공략하기 때문에 함께 쓰는 경우가 많아.

기법공략하는 중복수학적 관점텐서 분해와의 관계
저랭크·텐서 분해가중치 사이의 선형 상관부분공간 근사, 랭크 제약본인
가지치기(pruning)값이 작거나 영향 없는 가중치·채널희소성(ℓ0/ℓ1)"저랭크 + 희소" 분해로 결합 가능
양자화(quantization)필요 이상의 수치 정밀도격자 위 반올림, 오차 보정분해된 인자를 다시 양자화하면 이중 압축
지식 증류(distillation)모델 용량 자체의 여유출력 분포 매칭분해 후 미세조정의 목표 함수로 활용

예를 들어 LoRA와 양자화를 결합한 접근(사전학습 가중치는 저비트로 양자화해 얼리고, 그 위에 LoRA 어댑터만 학습)은 큰 모델을 제한된 GPU 메모리에서 미세조정하는 데 널리 쓰이게 됐어. 저랭크 분해와 희소 성분을 합친 "W ≈ 저랭크 + 희소" 구조도 강건 주성분 분석(RPCA)의 아이디어를 신경망에 옮긴 것으로, 이상치 성분을 희소 부분이 맡고 나머지 매끈한 구조를 저랭크 부분이 맡는 분업이야.

분해 구조로 처음부터 학습하기

사후 압축 대신 처음부터 분해된 형태로 모델을 설계하는 흐름도 있어. 앞에서 본 것처럼 병목 블록이나 깊이별 분리 합성곱은 사실상 터커·CP 구조를 아키텍처로 고정한 것이고, TT-layer는 완전연결층을 텐서 트레인 형식으로 직접 학습하지. 장점은 분해 오차가 아예 없다는 거고, 단점은 랭크라는 하이퍼파라미터를 학습 전에 정해야 하며 최적화 지형이 원래 모델과 달라진다는 거야. 인자들의 곱으로 표현된 파라미터는 스케일이 한쪽으로 쏠리는 불균형이 생기기 쉬워서 초기화와 정규화를 신경 써야 해.

13. 조건과 한계: 언제 텐서 분해가 통하지 않나

스펙트럼이 평평한 층특이값이 천천히 줄어들면 어느 랭크에서 잘라도 큰 손실이 생겨. 이런 층은 분해보다 양자화가 나을 수 있어.
이미 작은 층1×1 합성곱이나 좁은 층은 분해해도 이득이 적고 층 수만 늘어나.
하드웨어 비친화성작은 행렬 곱 여러 개는 큰 행렬 곱 하나보다 하드웨어 활용률이 낮을 수 있어.
CP의 수치 불안정성퇴화, 초기값 의존성, 느린 수렴. 깊은 네트워크 전체에 일괄 적용 시 위험.
재학습 비용대부분 미세조정이 필요하고, 초대규모 모델에서는 이것도 상당한 비용이야.
지표의 착시압축률·FLOPs 감소만 보고 실측 속도와 과제별 성능 저하를 안 보면 오판하기 쉬워.
행렬에서 텐서로 넘어가는 순간, 우리는 "최적해가 항상 있다"는 안락함을 잃는 대신 "분해가 유일하다"는 강력한 무기를 얻는다. 텐서 분해를 다룬다는 건 이 거래의 조건을 이해하고 쓰는 일이다.

이 문장이 텐서 분해의 정수야. 행렬의 SVD는 최적·안정·순차적이지만 유일성(해석 가능성)이 약하고, CP는 해석과 압축에 강하지만 계산적으로 위험해. 터커와 텐서 트레인은 그 중간에서 "SVD의 안정성을 최대한 끌고 온" 절충안이라고 볼 수 있어. 신경망 경량화에서 어떤 분해를 고를지는 결국 이 트레이드오프를 목표(메모리? 지연시간? 학습 비용?)에 맞게 조율하는 문제야.

14. 자주 나오는 질문

Q1. PCA랑 터커 분해는 무슨 관계야?

PCA는 데이터 행렬의 공분산 고유벡터(=중심화한 데이터 행렬의 특이벡터)로 차원을 줄이는 거잖아. HOSVD는 이걸 각 모드에 한 번씩 적용한 거라고 볼 수 있어. 그래서 터커 분해를 "다중선형 PCA"라고 부르기도 해. 행렬 데이터를 벡터로 쭉 펴서 PCA를 하면 행·열 구조가 사라지지만, 터커는 모드별 구조를 보존한 채 압축한다는 게 차이야.

Q2. CP 랭크를 정확히 모르면 어떻게 정해?

정확한 랭크 계산은 NP-난해라서 실무에선 R을 바꿔 가며 재구성 오차의 개선 폭을 보는 방법, 코어 일관성 진단(CORCONDIA) 같은 화학계량학 쪽 휴리스틱, 베이지안 CP처럼 자동 결정 기법을 써. 신경망 압축이라면 결국 "검증 정확도와 원하는 크기 사이의 균형"이 최종 기준이야.

Q3. LoRA의 r을 크게 하면 무조건 좋아?

꼭 그렇진 않아. r을 키우면 표현력과 파라미터가 같이 늘지만, LoRA 원 논문 실험에서는 작은 r로도 충분한 경우가 많았고 r을 키운다고 성능이 단조 증가하지는 않았어. 과제의 난이도, 사전학습 데이터와 목표 데이터의 거리, 어느 행렬에 LoRA를 붙이느냐에 따라 적정값이 달라져.

Q4. 텐서 분해는 학습된 모델에만 쓰는 거야?

전혀 아니야. 원래 출발은 심리측정학, 화학, 신호처리 같은 데이터 분석이었어. 동영상·하이퍼스펙트럴 영상 압축, 결측 데이터 복원(텐서 완성), 시간×사용자×상품 추천, 뇌파 분석, 그리고 양자 다체계 시뮬레이션(텐서 네트워크)까지 쓰임새가 정말 넓어. 신경망 압축은 그 응용 중 최근 가장 주목받는 한 갈래일 뿐이야.

Q5. 행렬 곱셈 알고리즘이랑도 관련 있다던데?

맞아, 이건 진짜 재밌는 연결이야. n×n 행렬 곱셈 자체를 하나의 3차 텐서(행렬 곱셈 텐서)로 쓸 수 있고, 그 텐서의 CP 랭크가 곧 "필요한 최소 곱셈 횟수"와 연결돼. 2×2 행렬 곱셈을 곱셈 7번으로 하는 슈트라센 알고리즘(1969)이 바로 2×2 행렬 곱셈 텐서의 랭크-7 분해야. 그리고 2022년 DeepMind의 AlphaTensor는 강화학습으로 이런 텐서의 낮은 랭크 분해를 탐색해서 일부 크기의 행렬 곱셈에서 기존에 알려진 것보다 적은 곱셈 횟수의 알고리즘을 찾아냈다고 Nature에 발표했어. 텐서 분해가 "데이터 압축"을 넘어 "알고리즘 발견"의 언어가 된 사례지.

15. 전체 흐름 다시 정리

언어 익히기: 모드, 파이버, 언폴딩, 모드-n 곱, 카트리-라오 곱
행렬의 기준점: SVD와 에카르트-영 정리, 최적·안정·순차적 저랭크 근사
CP 분해: 랭크-1 합, 차수에 선형인 저장량, 유일성(크루스칼) vs NP-난해·퇴화
터커 분해: 코어 + 직교 인자, HOSVD(√N 보장)·HOOI, 코어의 지수적 크기
텐서 트레인: 고차 텐서용 사슬 구조, SVD 기반 안정 알고리즘, 텐서화
신경망 적용: FC 저랭크, CP·터커-2 합성곱, TT 층·임베딩, LoRA, 활성화 인지 SVD
현실 점검: 랭크 선택, 미세조정, 실측 지연시간, 양자화·가지치기와의 결합
한 문단 요약텐서 분해는 다차원 배열을 소수의 벡터·작은 코어로 다시 쓰는 수학이야. CP는 랭크-1 조각의 합으로 가장 강하게 압축하고 유일성까지 주지만, 랭크 계산이 NP-난해하고 최적 근사가 없을 수도 있어 다루기 예민해. 터커는 HOSVD로 안정적으로 얻을 수 있고 신경망에서는 병목 구조로 나타나. 초대규모 신경망에서는 가중치가 거대한 행렬·텐서이기 때문에 이 수학이 그대로 압축 도구가 되고, LoRA처럼 "변화량의 저랭크성"을 이용하는 방식이 특히 큰 성공을 거뒀어. 다만 파라미터 감소가 곧 속도 향상은 아니며, 랭크 선택과 미세조정, 실측 검증이 결과를 좌우해.

처음엔 텐서라는 단어가 거대한 벽처럼 보였겠지만, 끝까지 따라온 지금은 "큐브를 펴고, 벡터로 쪼개고, 다시 접는" 그림이 머릿속에 그려질 거야. 다음에 "모델을 4비트로 줄이고 LoRA로 미세조정했다"는 이야기를 들으면, 그 뒤에 숨어 있는 에카르트-영 정리와 다중선형 대수의 그림자를 떠올려 봐. 그리고 이렇게 배운 걸 남에게 설명해 보는 게 최고의 복습이니, 재능넷 같은 곳에서 나만의 수학 노트를 강의로 풀어 보는 것도 꽤 괜찮은 도전이 될 거야.

참고 자료

T. G. Kolda, B. W. Bader, 「Tensor Decompositions and Applications」, SIAM Review 51(3), 2009. https://doi.org/10.1137/07070111X
L. De Lathauwer, B. De Moor, J. Vandewalle, 「A Multilinear Singular Value Decomposition」, SIAM J. Matrix Anal. Appl. 21(4), 2000.
I. V. Oseledets, 「Tensor-Train Decomposition」, SIAM J. Sci. Comput. 33(5), 2011.
C. J. Hillar, L.-H. Lim, 「Most Tensor Problems Are NP-Hard」, Journal of the ACM, 2013. https://arxiv.org/abs/0911.1393
V. de Silva, L.-H. Lim, 「Tensor Rank and the Ill-Posedness of the Best Low-Rank Approximation Problem」, SIAM J. Matrix Anal. Appl., 2008.
V. Lebedev 외, 「Speeding-up Convolutional Neural Networks Using Fine-tuned CP-Decomposition」, ICLR 2015. https://arxiv.org/abs/1412.6553
Y.-D. Kim 외, 「Compression of Deep Convolutional Neural Networks for Fast and Low Power Mobile Applications」, ICLR 2016. https://arxiv.org/abs/1511.06530
A. Novikov 외, 「Tensorizing Neural Networks」, NeurIPS 2015. https://arxiv.org/abs/1509.06569
E. J. Hu 외, 「LoRA: Low-Rank Adaptation of Large Language Models」, 2021. https://arxiv.org/abs/2106.09685
A. Aghajanyan 외, 「Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning」, 2020. https://arxiv.org/abs/2012.13255
C. Yin 외, 「TT-Rec: Tensor Train for Deep Learning Recommendation Models」, MLSys 2021. https://arxiv.org/abs/2101.11714
A. Fawzi 외, 「Discovering Faster Matrix Multiplication Algorithms with Reinforcement Learning」, Nature 610, 2022.

댓글 작성

이 글에 대한 여러분의 생각을 들려주세요

댓글 0
댓글을 불러오는 중입니다.

아직 댓글이 없습니다.