🌱 1. 왜 '여럿'이 '하나'를 이기는가

1785년 프랑스 수학자 콩도르세는 흥미로운 정리를 남겼습니다. 배심원 각자가 서로 독립적으로 판단하고, 각자의 정답 확률이 0.5보다 조금이라도 높다면, 배심원 수가 늘어날수록 다수결의 정답 확률은 1에 가까워진다는 것이죠. 이른바 콩도르세 배심원 정리입니다.

머신러닝의 앙상블(Ensemble) 학습은 이 직관을 알고리즘으로 옮긴 것입니다. 여러 개의 모델(기본 학습기, base learner)을 만들어 그 예측을 결합해 하나의 강력한 예측기를 얻는 방법이죠. 그런데 정리 속 두 조건, 즉 '각자가 우연보다는 낫다'와 '서로 독립적이다'는 현실에서 공짜로 주어지지 않습니다. 같은 데이터로 같은 알고리즘을 열 번 학습시키면 열 개의 똑같은 모델이 나올 뿐이니까요.

그래서 앙상블의 핵심 질문은 이것입니다. "어떻게 하면 충분히 쓸 만하면서도 서로 다른 모델들을 만들고, 어떻게 결합할 것인가?" 여기에 대한 두 개의 대표 답안이 배깅과 부스팅입니다.

⚖️ 2. 모든 이야기의 출발점: 편향-분산 분해

배깅과 부스팅의 차이를 한 문장으로 요약하면 흔히 이렇게 말합니다. 배깅은 분산(variance)을 줄이고, 부스팅은 주로 편향(bias)을 줄인다. 이 문장을 제대로 이해하려면 예측 오차가 어디서 오는지부터 봐야 합니다.

제곱 오차를 쓰는 회귀 문제에서, 어떤 입력 x에 대한 모델의 기대 예측 오차는 다음 세 조각으로 분해됩니다.

과녁 비유가 유명합니다. 화살이 과녁 중앙에서 한쪽으로 몰려 박혀 있다면 편향이 큰 것이고, 중앙 근처긴 하지만 사방으로 흩어져 있다면 분산이 큰 것입니다. 배깅은 흩어진 화살들의 평균 지점을 쓰는 전략이라 흩어짐(분산)을 줄여주고, 부스팅은 한쪽으로 쏠린 조준을 단계적으로 수정하는 전략이라 쏠림(편향)을 줄여줍니다.

🌲 3. 배깅 해부: 부트스트랩 숲의 합창

3-1. 이름의 정체: Bootstrap AGGregatING

배깅은 1996년 UC 버클리의 통계학자 레오 브라이먼(Leo Breiman)이 논문 「Bagging Predictors」에서 제안했습니다. 이름 자체가 알고리즘 설명서입니다. Bootstrap + AGGregatING, 즉 "부트스트랩 표본을 만들고, 결과를 집계한다."

3-2. 마법의 숫자 63.2%

복원 추출로 n개를 뽑을 때, 특정 샘플 하나가 한 번의 추출에서 뽑히지 않을 확률은 (1 − 1/n)입니다. n번 모두 피해갈 확률은 (1 − 1/n)ⁿ이고, n이 커지면 이 값은 1/e ≈ 0.368로 수렴합니다.

즉 각 트리는 원본 데이터의 약 3분의 2만 보고 자랍니다. 이 '조금씩 다른 시야'가 모델 간 다양성을 만들어냅니다. 그리고 나머지 약 36.8%는 버려지지 않고 아주 유용하게 쓰입니다.

3-3. 왜 평균을 내면 좋아지는가: 분산 공식

분산이 σ²인 예측기 B개를 평균 낸다고 해 봅시다. 예측기들이 완전히 독립이라면 평균의 분산은 σ²/B로 줄어듭니다. 하지만 같은 원본에서 나온 트리들은 서로 닮았기 마련이고, 쌍마다 상관계수가 ρ라면 평균의 분산은 이렇게 됩니다.

이 식이 배깅의 모든 것을 말해줍니다. 트리 수 B를 무한히 늘리면 두 번째 항은 0으로 사라지지만, 첫 번째 항 ρσ²은 B를 아무리 늘려도 남습니다. 결국 배깅의 성능 한계는 '트리들이 얼마나 서로 닮았는가(ρ)'가 결정합니다. 그리고 이 문제를 정면으로 공략한 것이 바로 랜덤 포레스트입니다.

3-4. 랜덤 포레스트: 배깅에 '특성 무작위성'을 더하다

브라이먼은 2001년 「Random Forests」 논문에서 배깅을 한 단계 진화시켰습니다. 트리의 각 분기점(노드)에서 최적 분할을 찾을 때 전체 특성이 아닌 무작위로 고른 일부 특성(m개) 중에서만 고르게 한 것이죠.

왜 이게 효과적일까요? 데이터에 압도적으로 강력한 특성이 하나 있다고 해봅시다. 일반 배깅에서는 거의 모든 트리가 맨 위에서 그 특성으로 분할할 테고, 결과적으로 트리들이 비슷한 구조를 갖게 되어 ρ가 높아집니다. 랜덤 포레스트는 그 특성이 후보에서 빠지는 노드를 일부러 만들어, 다른 특성들이 활약할 기회를 줍니다. 개별 트리는 약간 손해를 보지만(편향 약간 증가), 트리 간 상관이 크게 떨어져 앙상블 전체의 분산이 더 크게 줄어듭니다.

분류 문제에서 m의 경험적 기본값으로는 전체 특성 수 p의 제곱근(√p)이 널리 쓰이며, scikit-learn 분류기의 max_features='sqrt'가 이에 해당합니다. 회귀 문제에서는 브라이먼의 원 제안으로 p/3이 자주 언급되지만, 라이브러리마다 기본값이 다르므로 사용하는 버전의 문서를 확인하는 습관이 필요합니다.

3-5. 배깅이 잘 통하는 학습기, 안 통하는 학습기

브라이먼은 배깅 논문에서 중요한 관찰을 남겼습니다. 배깅은 불안정한(unstable) 학습기, 즉 학습 데이터가 조금만 바뀌어도 결과가 크게 달라지는 학습기에 효과가 큽니다. 깊은 결정 트리가 대표적이죠. 반대로 k-최근접 이웃처럼 안정적인 학습기는 부트스트랩 표본마다 거의 같은 모델이 나오므로 평균을 내도 얻는 것이 적고, 오히려 각 모델이 데이터의 약 63%만 보는 손실 때문에 성능이 약간 떨어질 수도 있습니다.

🏃 4. 부스팅 해부: 오답노트를 이어 쓰는 계주

4-1. 철학적 출발: "약한 학습기를 강하게 만들 수 있는가?"

부스팅의 뿌리는 계산 학습 이론에 있습니다. 1988~1989년 무렵 마이클 컨스(Michael Kearns)와 레슬리 밸리언트(Leslie Valiant)는 질문을 던졌습니다. "무작위 추측보다 아주 조금만 나은 약한 학습기(weak learner)들을 조합해, 원하는 만큼 정확한 강한 학습기(strong learner)를 만들 수 있는가?"

1990년 로버트 샤파이어(Robert Schapire)가 이것이 가능함을 이론적으로 증명했고, 이후 요아브 프로인드(Yoav Freund)와 샤파이어가 실용적인 알고리즘인 AdaBoost(Adaptive Boosting)를 발표했습니다(1995년 학회 발표, 1997년 저널 논문). 두 사람은 이 공로로 2003년 이론 컴퓨터과학 분야의 괴델상을 받았습니다.

4-2. AdaBoost: 틀린 문제에 형광펜을 긋는 알고리즘

AdaBoost의 아이디어는 학창 시절 오답노트와 똑같습니다. 모든 문제(샘플)에 같은 가중치를 주고 시작해서, 틀린 문제에는 가중치를 키우고 맞힌 문제는 가중치를 줄입니다. 다음 학습기는 가중치가 큰 문제, 즉 앞사람이 틀린 문제를 더 신경 써서 학습합니다. 이진 분류(레이블 y ∈ {−1, +1}) 기준 절차는 다음과 같습니다.

그림처럼 첫 번째 그루터기가 놓친 샘플이 두 번째 라운드에서 '확대'되고, 두 번째 그루터기는 그 샘플을 맞히는 방향으로 경계를 긋습니다. 직선 하나밖에 못 긋는 그루터기들이 모여 계단 모양의 복잡한 결정 경계를 만들어내는 것, 이것이 편향 감소의 실체입니다.

4-3. 그래디언트 부스팅: 함수 공간의 경사하강법

제롬 프리드먼(Jerome Friedman)은 2001년 「Greedy Function Approximation: A Gradient Boosting Machine」에서 부스팅을 임의의 미분 가능한 손실 함수로 일반화했습니다. 아이디어는 이렇습니다. 신경망에서는 파라미터를 경사의 반대 방향으로 조금씩 움직이죠. 그래디언트 부스팅은 파라미터 대신 예측 함수 F(x) 자체를 손실의 음의 경사 방향으로 조금씩 움직입니다.

제곱 손실 예시로 직관을 잡아봅시다. 집값 5억 원을 예측하는데 첫 모델이 4억을 예측했다면 잔차는 +1억입니다. 두 번째 트리는 "이 집은 1억 더 비싸다"를 배우고, 학습률 0.1을 곱해 1,000만 원만 반영합니다. 그러면 남은 잔차는 9,000만 원, 세 번째 트리가 또 그 일부를 메웁니다. 한 번에 정답으로 점프하지 않고 조금씩 다가가는 것이 과적합을 억제하는 핵심 장치입니다. 프리드먼은 학습률을 작게 하고 트리 수를 늘리는 쪽이 대체로 일반화 성능이 좋다는 것을 실험으로 보였습니다.

손실 함수를 바꾸면 같은 틀로 다양한 문제를 풀 수 있습니다. 분류에는 로그 손실(이항 편차), 이상치에 강한 회귀에는 절대 오차나 후버(Huber) 손실, 분위수 예측에는 분위수 손실, 순위 학습에는 랭킹 손실을 씁니다. 이 범용성이 그래디언트 부스팅을 산업 현장의 '만능 공구'로 만든 원동력입니다.

🏆 5. 현대 부스팅 3대장: XGBoost · LightGBM · CatBoost

2010년대 중반 이후 정형(테이블) 데이터 대회와 실무에서 그래디언트 부스팅 결정 트리(GBDT)가 사실상 표준이 되었습니다. 그 중심에 있는 세 라이브러리는 같은 뼈대 위에 서로 다른 엔지니어링 철학을 얹었습니다.

scikit-learn도 LightGBM에서 영감을 받은 히스토그램 기반의 HistGradientBoostingClassifier/Regressor를 제공합니다. 결측값을 네이티브로 처리하고 대용량 데이터에서 기존 GradientBoostingClassifier보다 훨씬 빠르므로, 추가 라이브러리 설치 없이 부스팅을 쓰고 싶을 때 좋은 선택지입니다.

🥊 6. 정면 비교: 배깅 vs 부스팅 스탯 카드

6-1. "트리를 더 넣으면 과적합되나요?" — 결정적 차이

이 질문에 대한 답이 두 기법의 성격 차이를 가장 극명하게 보여줍니다. 랜덤 포레스트에서 트리를 늘리는 것은 3장의 분산 공식에서 B를 늘리는 것이므로 오차가 단조롭게 수렴합니다. 브라이먼은 대수의 법칙에 의해 랜덤 포레스트의 일반화 오차가 트리 수가 늘어나도 극한값으로 수렴한다고 설명했습니다. 트리를 늘려서 손해 보는 것은 계산 시간과 메모리뿐입니다. (다만 개별 트리가 너무 깊어 잡음을 외우는 것까지 막아주지는 않으므로 '랜덤 포레스트는 절대 과적합하지 않는다'는 말은 과장입니다.)

반면 부스팅에서 트리를 늘리는 것은 훈련 데이터의 잔차를 계속 깎아내는 것입니다. 언젠가는 신호가 아닌 잡음을 맞추기 시작하고, 검증 오차는 U자 곡선을 그리며 다시 올라갑니다. 그래서 부스팅에서 조기 종료(early stopping)는 선택이 아니라 기본 장비입니다.

위 그래프는 전형적인 경향을 보여주는 개념도이며, 실제 곡선의 모양과 교차 여부는 데이터와 하이퍼파라미터에 따라 달라집니다. 특히 학습률을 매우 작게 잡은 부스팅은 U자의 바닥이 아주 넓고 완만해져, 과적합 시작 지점이 훨씬 뒤로 밀립니다.

6-2. 잡음에 대한 민감도: AdaBoost의 아킬레스건

AdaBoost는 틀린 샘플의 가중치를 지수적으로 키웁니다. 그런데 그 샘플이 사실 레이블이 잘못 붙은 데이터라면? 모델들은 애초에 맞힐 수 없는 '오답'에 점점 더 집착하고, 결과적으로 결정 경계가 일그러집니다. 디터리치(Dietterich, 2000)의 비교 실험은 레이블 잡음이 늘어날 때 AdaBoost의 성능이 배깅보다 더 크게 떨어질 수 있음을 보여주었습니다. 롱과 세르베디오(Long & Servedio, 2010)는 볼록 손실을 쓰는 부스팅 계열이 무작위 분류 잡음에 취약할 수 있음을 이론적으로도 보였습니다.

현대 GBDT는 로그 손실이나 후버 손실처럼 지수 손실보다 완만한 손실 함수를 쓰고, 학습률·정규화·서브샘플링을 함께 적용해 이 문제를 상당 부분 완화합니다. 그래도 잡음이 많은 데이터라면 배깅 계열이 '보험'으로서 가치가 있습니다.

⚠️ 7. 조건과 한계: 언제 무엇을 조심할까

7-1. 클래스 불균형

사기 거래 탐지처럼 양성 비율이 1% 미만인 문제에서, 단순 랜덤 포레스트는 다수 클래스에 휩쓸리기 쉽습니다. 이때 class_weight='balanced' 옵션이나, 각 부트스트랩 표본에서 클래스 균형을 맞춰 추출하는 균형 랜덤 포레스트(imbalanced-learn의 BalancedRandomForestClassifier 등)를 고려할 수 있습니다. 부스팅 쪽에서는 XGBoost의 scale_pos_weight처럼 양성 샘플의 그래디언트에 가중치를 주는 방법이 흔히 쓰입니다. 어느 쪽이든 평가 지표는 정확도 대신 PR-AUC, F1, 재현율 등 불균형에 맞는 것을 써야 합니다.

7-2. 해석 가능성

단일 결정 트리는 사람이 읽을 수 있지만, 수백 개 트리의 앙상블은 블랙박스에 가깝습니다. 두 계열 모두 특성 중요도를 제공하며, 최근에는 트리 앙상블에 대해 SHAP 값을 효율적으로 계산하는 TreeSHAP 알고리즘(Lundberg 외)이 표준적인 해석 도구로 자리 잡았습니다. XGBoost, LightGBM, CatBoost 모두 SHAP 값 계산을 지원합니다.

🛠️ 8. 실전 튜닝 가이드

8-1. 랜덤 포레스트: '많이 심고, 덜 닮게'

8-2. GBDT: '천천히, 얕게, 일찍 멈추게'

아래는 두 계열을 같은 데이터에서 비교하는 최소한의 예시입니다. 핵심은 랜덤 포레스트는 OOB로, 부스팅은 검증 세트와 조기 종료로 평가한다는 점입니다.

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier, HistGradientBoostingClassifier
from sklearn.metrics import roc_auc_score

X, y = load_breast_cancer(return_X_y=True)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.2,
                                          stratify=y, random_state=42)

# 배깅 계열: 병렬 + OOB 평가
rf = RandomForestClassifier(n_estimators=500, max_features="sqrt",
                            oob_score=True, n_jobs=-1, random_state=42)
rf.fit(X_tr, y_tr)
print("RF OOB 정확도:", round(rf.oob_score_, 4))
print("RF 테스트 AUC:", round(roc_auc_score(y_te, rf.predict_proba(X_te)[:, 1]), 4))

# 부스팅 계열: 작은 학습률 + 내부 검증 기반 조기 종료
gb = HistGradientBoostingClassifier(learning_rate=0.05, max_iter=1000,
                                    early_stopping=True, validation_fraction=0.15,
                                    n_iter_no_change=30, random_state=42)
gb.fit(X_tr, y_tr)
print("GB 실제 사용 반복 수:", gb.n_iter_)
print("GB 테스트 AUC:", round(roc_auc_score(y_te, gb.predict_proba(X_te)[:, 1]), 4))

🧭 9. 선택 가이드와 응용 현장

9-1. 상황별 선택 나침반

9-2. 응용 현장 스케치

🏦 금융 신용평가·사기 탐지 — 고객의 거래 이력, 소득, 연체 기록처럼 열(column)로 정리된 정형 데이터가 주를 이루는 분야입니다. 이런 데이터에서는 GBDT가 강력한 성능을 내는 경우가 많고, 규제 대응을 위한 설명 요구에는 SHAP 기반 해석이 함께 쓰입니다.

🔍 검색·추천 랭킹 — 그래디언트 부스팅을 순위 학습에 적용한 LambdaMART는 마이크로소프트 연구진(Burges 등)이 발전시킨 방법으로, 2010년 Yahoo! Learning to Rank Challenge에서 상위권을 차지하며 랭킹 분야의 대표 알고리즘이 되었습니다. XGBoost와 LightGBM도 랭킹 목적 함수를 지원합니다.

🧬 생물정보학·의료 — 유전자 발현처럼 특성 수가 샘플 수보다 훨씬 많은 데이터에서, 랜덤 포레스트는 과적합에 비교적 강하고 변수 중요도를 제공한다는 점 때문에 오래전부터 널리 활용되어 왔습니다.

🛰️ 원격탐사 — 위성 영상의 픽셀 단위 토지피복 분류에서 랜덤 포레스트는 다루기 쉽고 잡음에 강해 대표적인 기본 분류기로 자주 사용됩니다.

🎮 실시간 인식 — 마이크로소프트 키넥트의 신체 부위 인식 연구(Shotton 외, CVPR 2011)는 깊이 영상의 각 픽셀을 랜덤 결정 포레스트로 분류해 실시간 자세 추정을 구현했습니다. 트리 앙상블이 병렬 처리에 유리하다는 특성이 실시간성에 기여한 사례입니다.

🏅 데이터 경진대회 — 2009년 넷플릭스 프라이즈의 우승팀은 수많은 모델을 결합(블렌딩)한 앙상블로 목표인 10% 개선을 달성했고, 이후 캐글 등 대회에서 정형 데이터 상위권 솔루션의 상당수가 XGBoost·LightGBM·CatBoost를 핵심으로 사용해 왔습니다. 특히 대회 상위권에서는 서로 다른 계열의 모델을 섞는 것이 흔한데, 3장의 공식처럼 상관이 낮은 모델을 결합할수록 이득이 크기 때문입니다.

9-3. 배깅과 부스팅은 적이 아니다

제목은 'vs'지만, 현대 기법을 들여다보면 두 철학은 서로의 장점을 이미 깊숙이 받아들였습니다. 부스팅은 확률적 서브샘플링과 열 샘플링으로 배깅식 무작위성을 흡수했고, LightGBM은 아예 boosting='rf' 모드로 랜덤 포레스트를 지원합니다. 반대로 서로 다른 시드로 학습한 여러 GBDT를 평균 내는 것은 '부스팅 모델들의 배깅'이죠. 정보 지능공학의 관점에서 보면 이것은 결국 편향과 분산이라는 두 축의 오차를 어떤 순서와 비율로 줄일 것인가를 설계하는 문제이며, 두 기법은 그 설계 공간의 양 끝에 놓인 좌표입니다.

🌳 10. 마무리: 숲은 넓게, 계주는 날카롭게

배깅은 서로 다른 시각을 가진 깊은 트리들이 동시에 목소리를 내고, 그 평균이 개인의 변덕(분산)을 잠재우는 '숲의 합창'입니다. 부스팅은 앞 주자가 남긴 오답을 다음 주자가 이어받아 순서대로 메워 나가는 '오답노트 계주'로, 단순한 학습기의 한계(편향)를 단계적으로 극복합니다.

데이터 분석 실무에서는 대개 랜덤 포레스트로 탄탄한 기준선을 세우고, GBDT로 성능을 끌어올린 뒤, 필요하면 둘을 섞는 흐름을 탑니다. 이런 모델링 역량은 혼자 익히는 것도 좋지만, 재능넷처럼 다양한 전문가의 노하우가 오가는 곳에서 실전 프로젝트 경험을 나누면 훨씬 빠르게 성장할 수 있습니다. 결국 앙상블의 교훈은 사람에게도 그대로 적용됩니다. 서로 다른 관점을 가진 여럿이 모이고, 서로의 실수를 보완해 줄 때 가장 강해진다는 것.

"모델 하나를 완벽하게 만들려 애쓰기보다, 서로 다르게 틀리는 모델 여럿을 모아라."
— 앙상블 학습이 남긴 가장 실용적인 지혜

📚 주요 원전

• Breiman, L. (1996). Bagging Predictors. Machine Learning, 24(2).
• Breiman, L. (2001). Random Forests. Machine Learning, 45(1).
• Freund, Y. & Schapire, R. E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1).
• Friedman, J., Hastie, T. & Tibshirani, R. (2000). Additive Logistic Regression: A Statistical View of Boosting. Annals of Statistics, 28(2).
• Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5).
• Friedman, J. H. (2002). Stochastic Gradient Boosting. Computational Statistics & Data Analysis, 38(4).
• Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. KDD 2016.
• Ke, G. et al. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. NeurIPS 2017.
• Prokhorenkova, L. et al. (2018). CatBoost: Unbiased Boosting with Categorical Features. NeurIPS 2018.
• Grinsztajn, L., Oyallon, E. & Varoquaux, G. (2022). Why do tree-based models still outperform deep learning on tabular data? NeurIPS 2022 Datasets and Benchmarks.