Ver5.0 ⛰️ 안개 낀 손실 산맥 하산기: SGD·모멘텀·Adam은 어떻게 골짜기를 내려오나

⛰️ 안개 낀 손실 산맥 하산기: SGD·모멘텀·Adam은 어떻게 골짜기를 내려오나
눈을 가린 채 산꼭대기에 서 있다고 상상해 봐. 발바닥으로 느껴지는 경사 하나만 믿고 가장 낮은 곳까지 내려가야 해. 딥러닝 모델이 학습한다는 건 정확히 이 하산 게임이야. 오늘은 세 명의 하산 선수, SGD·모멘텀·Adam이 울퉁불퉁한 지형에서 어떤 수학적 역학으로 움직이는지 끝까지 파헤쳐 볼게.
세 하산 선수의 캐릭터 요약: 흔들리며 걷는 SGD, 관성으로 굴러가는 모멘텀, 축마다 보폭을 조절하는 Adam
1. 무대 소개: 손실 지형이라는 이상한 산맥
손실 함수는 '틀린 정도'의 고도계
신경망에는 가중치와 편향 같은 파라미터가 잔뜩 있어. 이걸 한 덩어리 벡터 θ로 묶자. 모델이 데이터에 대해 얼마나 틀렸는지를 숫자 하나로 나타낸 게 손실 함수 L(θ)야. 그러니까 θ가 '지도 위의 위치'라면 L(θ)는 그 위치의 '고도'인 셈이지.
문제는 이 지도가 2차원이 아니라는 거야. 작은 이미지 분류기도 파라미터가 수십만 개, 대형 언어 모델은 수십억 개를 훌쩍 넘어. 즉 우리는 수십억 차원짜리 산맥을 눈 감고 내려가는 중이야. 그림으로 그릴 수 없으니 수학으로 더듬을 수밖에 없지.
기울기: 발바닥이 느끼는 경사
눈을 가려도 발바닥으로 경사는 느낄 수 있잖아? 수학에서 그 감각이 기울기(gradient) ∇L(θ)야. 각 파라미터 방향으로 손실이 얼마나 빠르게 변하는지 모아 놓은 벡터인데, 이 벡터는 가장 가파르게 올라가는 방향을 가리켜. 그러니 내려가려면 반대 방향, 즉 −∇L로 걸으면 돼. 딥러닝에서는 역전파(backpropagation)가 연쇄법칙으로 이 기울기를 효율적으로 계산해 줘.
헤시안: 지형의 '휘어짐'을 재는 자
경사만으로는 부족해. 같은 경사라도 바로 앞에서 땅이 확 꺾이는지, 완만하게 이어지는지에 따라 보폭을 다르게 해야 하거든. 이 휘어짐 정보를 담은 게 2차 도함수를 모은 헤시안 행렬 H야.
헤시안의 고유값을 보면 지형의 성격이 나와.
가장 큰 고유값 λmax와 가장 작은 양의 고유값 λmin의 비율을 조건수 κ = λmax/λmin라고 불러. κ가 크면 '한쪽은 절벽, 다른 쪽은 평지'인 길쭉한 골짜기라는 뜻이고, 이게 바로 최적화 알고리즘들을 괴롭히는 주범이야. 이 숫자, 뒤에서 계속 나오니까 기억해 둬.
2. 기본기: 경사하강법(GD)의 수학
업데이트 공식 한 줄
η(에타)는 학습률, 즉 보폭이야. 공식은 허무할 만큼 단순한데, 이 η 하나가 성패를 좌우해. 너무 작으면 하산에 세월이 걸리고, 너무 크면 골짜기 양쪽 벽을 오가며 튕기다가 결국 산 밖으로 날아가 버려(발산).
왜 하필 '2/λ'가 한계일까: 1차원 그릇 실험
가장 단순한 지형인 그릇 L(x) = ½λx²에서 직접 계산해 보자. 기울기는 λx니까
매 걸음마다 위치에 (1 − ηλ)가 곱해져. 이 값의 절댓값이 1보다 작아야 0(바닥)으로 줄어들겠지? 그러니까
여기서 재밌는 구간이 나뉘어.
| 학습률 구간 | (1 − ηλ)의 값 | 공의 움직임 |
|---|---|---|
| η < 1/λ | 0 ~ 1 사이 | 한쪽에서 바닥으로 천천히 미끄러짐 |
| η = 1/λ | 0 | 한 방에 정확히 바닥 도착 |
| 1/λ < η < 2/λ | −1 ~ 0 사이 | 바닥을 지나쳐 좌우로 출렁이며 수렴 |
| η > 2/λ | −1보다 작음 | 출렁임이 점점 커지며 발산 |
다차원 골짜기의 비극: 지그재그
이제 축마다 곡률이 다른 2차원 그릇을 생각해 봐. 한 축 곡률은 λmax, 다른 축은 λmin. 하나의 η로 두 축을 동시에 다뤄야 해. 가파른 축에서 발산하지 않으려면 η < 2/λmax여야 하는데, 그러면 완만한 축에서는 매 걸음 (1 − ηλmin)배만 줄어들어. λmin이 작으면 이 값이 1에 거의 붙어 있으니 진도가 지독히 느려지지.
최선의 고정 학습률 η = 2/(λmax+λmin)를 골라도 수렴률은
이야. κ = 100이면 ρ ≈ 0.980. 오차를 100만분의 1로 줄이려면 ln(10⁻⁶)/ln(0.980) ≈ 약 690걸음이 필요해. 그 사이 공은 가파른 벽 사이를 지그재그로 오가며 정작 골짜기 바닥 방향으로는 찔끔찔끔 나아가. 이게 아래 그림의 빨간 점선이야.
가로로 길쭉한 등고선 = 세로 방향 곡률이 훨씬 큰 지형(조건수가 큰 골짜기)
② 진도는 가장 완만한 방향이 결정해 — 조건수 κ가 클수록 느려.
③ 이 두 가지 긴장 관계를 풀기 위해 모멘텀과 Adam이 등장했어.
3. 첫 번째 선수: 확률적 경사하강법(SGD) — 술 취한 듯 걷는 천재
전체 기울기는 너무 비싸다
손실은 보통 데이터 N개에 대한 평균이야: L(θ) = (1/N) Σ ℓi(θ). 정직한 경사하강법은 한 걸음 내딛기 위해 데이터 전부, 예컨대 수백만 장의 이미지를 다 보고 기울기를 계산해야 해. 한 걸음에 그 비용이면 하산이 끝나기 전에 계절이 바뀌겠지.
그래서 SGD는 작은 묶음, 미니배치 B개만 뽑아 기울기를 추정해.
평균은 맞고, 대신 흔들린다
배치를 무작위로 뽑으면 gt의 기댓값은 진짜 기울기 ∇L과 같아. 통계 용어로 불편추정량이야. 대신 분산이 있지. 샘플별 기울기의 공분산을 Σ라고 하면, 복원 추출 기준으로 미니배치 기울기의 공분산은 대략 Σ/B야. 배치를 4배 키우면 잡음의 표준편차가 절반이 되는 거지(√4 = 2).
그러니까 SGD의 한 걸음은 "올바른 방향 + 무작위 흔들림"이야. 마치 방향은 대충 맞는데 약간 비틀거리며 걷는 하산객 같아.
흔들림이 오히려 무기가 되는 순간들
이 잡음이 단점만 있을 것 같지? 그런데 울퉁불퉁한 지형에서는 이게 꽤 쓸모 있어.
노이즈 스케일: 학습률과 배치 크기의 비율
SGD를 연속 시간 확률미분방정식으로 근사해 분석하는 연구들(예: Smith & Le, 2018)은 SGD 잡음의 세기가 대략 η/B에 비례한다고 봐. 학습률을 키우거나 배치를 줄이면 더 시끄럽게, 반대로 하면 더 조용하게 걷는 거야. 여기서 실전 규칙 하나가 나와.
바닥에 도착은 하는데, 멈추질 못한다
SGD의 약점도 여기서 나와. 진짜 최소점에서는 전체 기울기가 0이지만, 미니배치 기울기는 0이 아니야. 그래서 고정 학습률 SGD는 최소점 근처에서 계속 덜덜 떨며 '잡음 구름' 속을 맴돌아. 정확히 수렴하려면 학습률을 점점 줄여야 하고, 고전적인 로빈스-먼로(Robbins–Monro, 1951) 조건이 그 기준이야.
첫 조건은 "어디서 출발하든 도착할 만큼 총 이동거리가 충분해야 한다", 두 번째는 "잡음이 누적되어 폭주하지 않을 만큼 보폭이 빨리 줄어야 한다"는 뜻이야. ηt = c/t 같은 감소 스케줄이 두 조건을 모두 만족해. 실제 딥러닝에서는 계단식 감소나 코사인 감소처럼 좀 더 실용적인 스케줄을 써(뒤에서 다룰게).
4. 두 번째 선수: 모멘텀 — 무거운 볼링공의 관성
헤비볼(Heavy Ball) 아이디어
1964년 소련 수학자 보리스 폴랴크(Boris Polyak)가 제안한 아이디어야. 가벼운 탁구공은 경사가 바뀔 때마다 휙휙 방향을 틀지만, 무거운 볼링공은 지금까지 굴러온 속도를 유지하려 하잖아. 이 관성을 수식에 넣은 거야.
v는 '속도', β는 관성 계수(보통 0.9)야. 물리로 보면 β는 마찰이 얼마나 적은지야. β = 0이면 그냥 SGD, β가 1에 가까울수록 미끄러운 얼음판이 돼.
지그재그가 사라지는 원리
속도 v를 펼쳐 쓰면 과거 기울기의 지수 가중 합이야: vt = gt−1 + βgt−2 + β²gt−3 + …
앞의 길쭉한 골짜기를 떠올려 봐.
기울기가 일정하게 g라면 속도는 g(1 + β + β² + …) = g/(1−β)로 수렴해. β = 0.9면 일관된 방향으로는 실효 보폭이 10배가 되는 거야. 반면 진동 방향은 상쇄되니까 발산 걱정은 덜하지. 그림 2의 초록색 경로가 이 모습이야.
숫자로 확인하는 가속: √κ의 마법
이차 함수에서 학습률과 β를 최적으로 고르면(η = 4/(√λmax + √λmin)², β = ((√κ−1)/(√κ+1))²), 헤비볼의 수렴률은 이렇게 돼.
앞의 GD 공식에서 κ가 √κ로 바뀌었지? κ = 100이면 √κ = 10이고 ρ = 9/11 ≈ 0.818. 오차를 100만분의 1로 줄이는 데 ln(10⁻⁶)/ln(0.818) ≈ 약 69걸음. 아까 GD의 약 690걸음과 비교하면 무려 10배 빨라. 조건수가 1만이라면 차이는 100배로 벌어져. 골짜기가 길쭉할수록 모멘텀의 위력이 커지는 이유야.
네스테로프 모멘텀: 미리 내다보고 브레이크
1983년 유리 네스테로프(Yurii Nesterov)는 한 수를 더 뒀어. "어차피 관성 때문에 저기까지 갈 거라면, 지금 자리가 아니라 도착 예정지의 기울기를 보자"는 거야.
언덕 너머가 오르막이면 미리 감지하고 감속하니까 오버슈팅이 줄어들어. 이론적으로도 매끄러운 볼록 함수에서 오차가 O(1/t²)로 줄어드는데, 이는 1차 정보만 쓰는 방법 중 최적 차수야(일반 GD는 O(1/t)). Sutskever 등(2013)은 딥러닝에서 좋은 초기화와 모멘텀 스케줄을 갖춘 네스테로프형 모멘텀이 효과적임을 보여 주면서 이 방식이 다시 주목받았어.
5. 세 번째 선수: Adam — 축마다 보폭을 바꾸는 하이브리드
문제의식: 왜 모든 축에 같은 보폭을?
모멘텀도 결국 모든 파라미터에 같은 η를 써. 그런데 신경망 파라미터는 성격이 제각각이야. 어떤 가중치는 기울기가 늘 크고, 어떤 건 드물게 등장하는 단어의 임베딩이라 가끔 작게만 움직여. 그래서 "파라미터마다 따로 학습률을 맞춰 주자"는 적응형 방법들이 등장했어.
Adam의 다섯 줄 레시피
gt = ∇L(θt−1) (미니배치 기준)
mt = β1 mt−1 + (1 − β1) gt
vt = β2 vt−1 + (1 − β2) gt² (원소별 제곱)
m̂t = mt / (1 − β1t), v̂t = vt / (1 − β2t)
θt = θt−1 − η · m̂t / (√v̂t + ε)
논문이 제시한 기본값은 η = 0.001, β1 = 0.9, β2 = 0.999, ε = 10⁻⁸이야. 놀랍게도 이 기본값이 꽤 많은 문제에서 그럭저럭 돌아가서, Adam은 "일단 켜면 되는" 옵티마이저라는 명성을 얻었지.
편향 보정: 0에서 출발한 대가
m과 v는 0으로 초기화돼. 첫 걸음을 계산해 보자. m1 = (1 − 0.9)g1 = 0.1g1. 진짜 평균보다 10배 작아. v는 더 심해서 v1 = 0.001g1², 무려 1000배 작아.
기울기 분포가 대략 정상(stationary)이라면 E[vt] ≈ (1 − β2t)E[g²]이 성립해. 그래서 (1 − β2t)로 나눠 주면 이 축소가 정확히 복원돼. 보정 후 첫 걸음은 m̂1 = g1, v̂1 = g1², 따라서 업데이트 크기는 η · g1/|g1| ≈ η, 즉 모든 좌표가 딱 η만큼 움직여.
보정을 빼먹으면 어떻게 될까? 초반에 m과 v의 축소 비율이 서로 달라(0.1 대 √0.001 ≈ 0.0316) 비율 m/√v가 약 3.16배 부풀어. 특히 β2가 1에 가까울수록 초반 보폭이 비정상적으로 커져 불안정해질 수 있어. 보정은 β2 = 0.999 기준으로 수천 걸음이 지나면 거의 1이 되어 사실상 사라져.
Adam의 속마음: 부호 기반 하강
업데이트를 좌표별로 들여다보면 m̂/√v̂는 "평균 기울기 ÷ 기울기 크기의 RMS"야. 그래서 이런 성질이 생겨.
길쭉한 골짜기에서 Adam이 강한 이유
그림 2의 골짜기에서 세로 축은 기울기가 크고 가로 축은 작아. Adam은 각 축을 자기 기울기 크기로 나누니까, 두 축의 보폭이 비슷하게 평준화돼. 축 정렬된 골짜기라면 일종의 대각 전처리(diagonal preconditioning)로 조건수를 크게 줄여 주는 셈이야.
다만 '대각'이라는 게 포인트야. 골짜기가 좌표축에 대해 비스듬히 누워 있으면 축별 스케일링만으로는 회전된 곡률을 못 잡아. 이런 한계를 넘으려고 Shampoo, K-FAC처럼 행렬 단위 전처리를 쓰는 2차 근사 옵티마이저 연구가 이어지고 있어.
6. Adam의 그림자: 수렴 반례와 일반화 논쟁
Adam이 수렴하지 않는 함수가 있다
Adam 원 논문의 수렴 증명에는 오류가 있었어. Reddi, Kale, Kumar(ICLR 2018, 최우수 논문상)는 단순한 1차원 온라인 볼록 문제에서 Adam이 최적해로 가지 못하는 반례를 만들었어. 구조는 이래.
이 논문이 제안한 AMSGrad는 지금까지의 v 중 최댓값을 유지(v̂t = max(v̂t−1, vt))해서 실효 학습률이 증가하지 않도록 막아. 이론적 수렴은 회복했지만, 실전 딥러닝에서 Adam보다 뚜렷이 좋아졌다는 결과는 일관되지 않아서 기본값으로 자리 잡지는 못했어.
"Adam은 일반화가 약하다?" 논쟁
Wilson 등(2017)은 여러 이미지 분류·언어 과제에서 적응형 방법이 훈련 손실은 빨리 줄여도, 잘 튜닝한 SGD(+모멘텀)보다 테스트 성능이 낮은 경우를 보고했어. 또 과매개변수화된 선형 회귀처럼 해가 무수히 많은 문제에서 SGD와 적응형 방법이 서로 다른 해로 간다는 예시도 보였지. 경사하강법은 그런 문제에서 0에서 출발하면 최소 노름 해로 가는 '암묵적 편향(implicit bias)'을 가지는데, 좌표별 스케일링은 이 편향을 바꿔 버려.
그래서 한동안 이미지 분류(특히 ResNet 계열)에서는 SGD+모멘텀, 트랜스포머·언어 모델에서는 Adam 계열이라는 '분업'이 관행처럼 굳어졌어. 다만 이후 연구들에서 하이퍼파라미터를 충분히 튜닝하면 격차가 크게 줄어든다는 보고도 많아서, 이건 '법칙'이라기보다 '경향과 관행'으로 이해하는 게 정확해.
AdamW: L2 규제와 가중치 감쇠는 같지 않다
SGD에서는 손실에 (λ/2)‖θ‖²를 더하는 L2 규제와, 매 걸음 θ를 (1−ηλ)배 줄이는 가중치 감쇠가 수학적으로 같아. 그런데 Adam에서는 달라져. L2 항의 기울기 λθ가 g에 섞여 들어가 √v̂로 나눠지니까, 기울기가 큰 파라미터일수록 규제가 약해지는 이상한 효과가 생기거든.
Loshchilov & Hutter는 감쇠를 적응형 스케일링 바깥으로 분리했어.
이 AdamW가 일반화 성능을 개선한다는 결과가 나오면서, BERT·GPT 계열 같은 트랜스포머 학습에서 AdamW가 기본 선택지가 됐어. PyTorch에서도 torch.optim.Adam의 weight_decay는 L2 방식이고, 분리형은 torch.optim.AdamW라는 별도 클래스야. 이름 하나 차이로 결과가 달라질 수 있으니 꼭 확인해!
웜업이 필요한 이유 하나
학습 첫 몇 걸음에서 v̂는 극소수 샘플로 만든 추정치라 분산이 커. Liu 등(RAdam, ICLR 2020)은 이 초기 적응 학습률의 큰 분산이 불안정의 원인 중 하나라고 분석하고, 분산을 보정하는 RAdam을 제안했어. 동시에 이 분석은 학습률 웜업(처음엔 작게 시작해 서서히 키우기)이 왜 효과적인지 설명하는 근거로도 자주 인용돼.
7. 지형을 더 크게 보기: 날카로운 최소, 평평한 최소
훈련 지형과 시험 지형은 살짝 어긋나 있다
우리가 내려가는 산은 '훈련 데이터로 만든' 지형이야. 실제 성능을 평가하는 '테스트 지형'은 비슷하지만 조금 밀려 있어. 그러면 어떤 바닥에 서 있느냐가 중요해져.
같은 거리만큼 지형이 밀려도, 날카로운 바닥에서는 손실이 크게 튀고 평평한 바닥에서는 거의 그대로
Hochreiter & Schmidhuber(1997)의 '평평한 최소' 논의 이후, Keskar 등(ICLR 2017)은 아주 큰 배치로 학습하면 날카로운 최소로 수렴하는 경향이 있고 일반화 격차가 커진다는 실험 결과를 보고했어. 작은 배치의 큰 잡음(앞에서 본 η/B)이 날카로운 골짜기에서 공을 튕겨 내는 효과와 연결되는 해석이지.
SAM: 아예 평평한 곳을 노려 찾기
Foret 등(ICLR 2021)의 SAM(Sharpness-Aware Minimization)은 "현재 위치의 손실"이 아니라 "반경 ρ 안에서 가장 나쁜 손실"을 최소화해. 구현은 두 단계야. ① 기울기 방향으로 ρ만큼 살짝 올라가 본다 ② 거기서 잰 기울기로 원래 위치를 업데이트한다. 주변이 다 낮은 '넓은 분지'를 선호하게 되고, 여러 벤치마크에서 일반화 향상이 보고됐어. 대신 걸음마다 기울기를 두 번 계산하니 비용이 약 2배야.
안정성의 가장자리(Edge of Stability)
2장에서 안정 조건이 η < 2/λmax라고 했지? 고전 이론이라면 학습 중 λmax(날카로움)가 2/η를 넘으면 발산해야 해. 그런데 Cohen 등(ICLR 2021)은 전체 배치 경사하강법으로 신경망을 학습시키면 이런 현상이 일어난다는 걸 관찰했어.
즉 신경망 학습은 이차 근사 이론이 말하는 '안전 지대'가 아니라, 스스로 불안정의 경계선 위를 아슬아슬 타면서 진행된다는 거야. 학습률이 지형의 날카로움 자체를 조절하는 일종의 '피드백 장치'로 작동한다는 해석이 나왔고, 이후 이 현상을 설명하려는 이론 연구가 활발히 이어지고 있어. 고전 최적화 교과서와 실제 딥러닝 사이의 간극을 보여 주는 대표 사례지.
8. 보폭의 시간표: 학습률 스케줄
지형은 위치마다 다르니 보폭도 시간에 따라 바꾸는 게 자연스러워. 초반엔 지형 파악이 안 됐고 v̂ 추정도 불안정하니 조심, 중반엔 과감하게, 후반엔 바닥 근처 잡음 구름을 줄이려고 천천히. 이 철학을 구현한 게 웜업 + 감소 스케줄이야.
전체의 10%를 웜업으로 쓴 예. 코사인 구간은 ½(1+cos πs) 모양을 따른다
| 스케줄 | 모양 | 특징 |
|---|---|---|
| 계단식 감소 | 특정 에폭마다 1/10로 뚝 | ResNet 원 논문 등 고전 CNN 학습에서 널리 사용. 감소 직후 손실이 계단처럼 떨어지는 모습이 유명 |
| 코사인 감소 | ½(1+cos πs)로 부드럽게 | Loshchilov & Hutter의 SGDR(2017)에서 재시작과 함께 제안. 현재 매우 보편적 |
| 선형 웜업 | 0 근처에서 최댓값까지 직선 | 대형 배치·트랜스포머 학습 초반 안정화에 사실상 필수 |
| 역제곱근 감소 | 1/√t 비례 | 원조 트랜스포머(Vaswani 등, 2017)가 웜업과 결합해 사용 |
계단식 감소에서 학습률을 확 줄이는 순간 손실이 뚝 떨어지는 현상, 이제 해석할 수 있겠지? 고정 학습률 SGD는 바닥 근처에서 η에 비례하는 크기의 잡음 구름 속을 떠돌고 있었는데, η가 줄면서 구름이 쪼그라들어 더 깊은 바닥 쪽에 자리를 잡는 거야.
9. 손으로 굴려 보기: 세 선수 직접 구현
수식만 보면 감이 안 오니까 NumPy로 아주 짧게 구현해 보자. 지형은 조건수 100짜리 2차원 그릇 L = ½(100x² + y²)야.
import numpy as np
def grad(p): # L = 0.5*(100*x^2 + y^2)
x, y = p
return np.array([100*x, y])
def sgd(p, lr=0.019, steps=200):
for _ in range(steps):
p = p - lr*grad(p)
return p
def momentum(p, lr=0.0275, beta=0.67, steps=200):
v = np.zeros_like(p)
for _ in range(steps):
v = beta*v + grad(p)
p = p - lr*v
return p
def adam(p, lr=0.05, b1=0.9, b2=0.999, eps=1e-8, steps=200):
m = np.zeros_like(p); s = np.zeros_like(p)
for t in range(1, steps+1):
g = grad(p)
m = b1*m + (1-b1)*g
s = b2*s + (1-b2)*g*g
mh = m/(1-b1**t); sh = s/(1-b2**t)
p = p - lr*mh/(np.sqrt(sh)+eps)
return p
start = np.array([1.0, 1.0])
for f in (sgd, momentum, adam):
print(f.__name__, f(start.copy()))
몇 가지 관찰 포인트를 짚어 볼게.
② Adam에서 편향 보정 두 줄을 지우고 첫 10걸음의 이동 거리를 출력해 봐.
③ 지형을 45도 회전시켜(x, y를 섞어) Adam의 축별 스케일링 이점이 줄어드는지 비교해 봐.
10. 세 선수 총정리 & 실전 선택 가이드
| 항목 | SGD | 모멘텀(헤비볼·네스테로프) | Adam / AdamW |
|---|---|---|---|
| 핵심 상태 | 없음 | 속도 v (파라미터와 같은 크기) | m, v 두 개 (메모리 약 2배 추가) |
| 지그재그 골짜기 | κ에 비례해 느림 | √κ 수준으로 가속 | 축 정렬된 경우 강하게 완화 |
| 잡음 대응 | 잡음 그대로 반영 | 지수 평균으로 평활화 | 평활화 + 신호 대 잡음비로 보폭 조절 |
| 하이퍼파라미터 민감도 | 학습률에 민감 | 학습률·β 함께 튜닝 | 기본값으로도 비교적 잘 동작 |
| 대표 사용처 | 이론 분석, 기초 | CNN 이미지 분류의 전통적 강자 | 트랜스포머·언어 모델의 표준(AdamW) |
| 알려진 약점 | 느림, 바닥 근처 떨림 | 오버슈팅, 튜닝 필요 | 특정 반례에서 비수렴, 일반화 논쟁, 메모리 |
실전에서 자주 쓰는 출발점
11. 마치며: 수학이 그린 하산 지도
정리해 보면, 이 세 옵티마이저는 같은 문제를 서로 다른 물리적 직관으로 푼 결과야. SGD는 '술 취한 듯 흔들리는 보행자', 모멘텀은 '관성을 가진 볼링공', Adam은 '지형마다 신발을 바꿔 신는 노련한 산악인'. 그리고 그 밑바닥에는 헤시안의 고유값, 조건수, 확률적 근사, 지수이동평균 같은 꽤 '어려운 수학'이 단단히 깔려 있지.
재미있는 건 이 분야가 아직도 현재진행형이라는 거야. 안정성의 가장자리, 평평함과 일반화의 관계, 대형 모델을 위한 새로운 옵티마이저 연구는 지금도 계속 업데이트되고 있어. 수식 한 줄의 의미를 손으로 따라가 보는 경험은 그래서 더 값지지. 최적화 이론을 함께 공부할 사람이나 직접 구현을 도와줄 고수가 필요하다면, 재능넷 같은 재능 공유 공간에서 수학·데이터 분야 재능을 가진 사람들과 연결되는 것도 좋은 방법이야.
다음에 모델 학습 로그에서 손실 곡선이 출렁이는 걸 보면, 그 뒤에서 작은 공이 울퉁불퉁한 산맥을 열심히 굴러 내려가고 있다는 걸 떠올려 줘. 🏔️
참고 자료
Kingma, D. P., & Ba, J. — Adam: A Method for Stochastic Optimization (https://arxiv.org/abs/1412.6980)
Loshchilov, I., & Hutter, F. — Decoupled Weight Decay Regularization (https://arxiv.org/abs/1711.05101)
Loshchilov, I., & Hutter, F. — SGDR: Stochastic Gradient Descent with Warm Restarts (https://arxiv.org/abs/1608.03983)
Reddi, S. J., Kale, S., & Kumar, S. — On the Convergence of Adam and Beyond (ICLR 2018)
Wilson, A. C. 외 — The Marginal Value of Adaptive Gradient Methods in Machine Learning (https://arxiv.org/abs/1705.08292)
Goyal, P. 외 — Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour (https://arxiv.org/abs/1706.02677)
Keskar, N. S. 외 — On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima (https://arxiv.org/abs/1609.04836)
Cohen, J. M. 외 — Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability (https://arxiv.org/abs/2103.00065)
Foret, P. 외 — Sharpness-Aware Minimization for Efficiently Improving Generalization (https://arxiv.org/abs/2010.01412)
Liu, L. 외 — On the Variance of the Adaptive Learning Rate and Beyond (https://arxiv.org/abs/1908.03265)
Polyak, B. T. (1964) — Some methods of speeding up the convergence of iteration methods / Nesterov, Y. (1983) — A method for solving the convex programming problem with convergence rate O(1/k²)
댓글 작성
이 글에 대한 여러분의 생각을 들려주세요
로그인이 필요합니다
댓글을 작성하려면 먼저 로그인해주세요.
댓글 0
지식인의 숲 - 지적 재산권 보호 고지
지적 재산권 보호 고지
- 저작권 및 소유권: 본 컨텐츠는 재능넷의 독점 AI 기술로 생성되었으며, 대한민국 저작권법 및 국제 저작권 협약에 의해 보호됩니다.
- AI 생성 컨텐츠의 법적 지위: 본 AI 생성 컨텐츠는 재능넷의 지적 창작물로 인정되며, 관련 법규에 따라 저작권 보호를 받습니다.
- 사용 제한: 재능넷의 명시적 서면 동의 없이 본 컨텐츠를 복제, 수정, 배포, 또는 상업적으로 활용하는 행위는 엄격히 금지됩니다.
- 데이터 수집 금지: 본 컨텐츠에 대한 무단 스크래핑, 크롤링, 및 자동화된 데이터 수집은 법적 제재의 대상이 됩니다.
- AI 학습 제한: 재능넷의 AI 생성 컨텐츠를 타 AI 모델 학습에 무단 사용하는 행위는 금지되며, 이는 지적 재산권 침해로 간주됩니다.
아직 댓글이 없습니다.