from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 데이터 로드
X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 랜덤 포레스트 모델 생성
rf = RandomForestClassifier(
    n_estimators=200,        # 트리 200개
    max_features='sqrt',     # √n개 특성 사용
    max_depth=15,            # 최대 깊이 15
    min_samples_split=5,     # 분할 최소 샘플 5개
    min_samples_leaf=2,      # 리프 최소 샘플 2개
    bootstrap=True,          # 부트스트랩 사용
    oob_score=True,          # OOB 점수 계산
    random_state=42,         # 재현성을 위한 시드
    n_jobs=-1                # 모든 CPU 코어 사용
)

# 모델 학습
rf.fit(X_train, y_train)

# 성능 평가
print(f"훈련 정확도: {rf.score(X_train, y_train):.4f}")
print(f"테스트 정확도: {rf.score(X_test, y_test):.4f}")
print(f"OOB 정확도: {rf.oob_score_:.4f}")

# 특성 중요도 확인
feature_importance = rf.feature_importances_
print(f"특성 중요도: {feature_importance}")

📊 성능 비교

⚡ 계산 효율성 비교

🔍 해석 가능성 비교

🎯 사용 시나리오별 추천

📐 편향-분산 분해(Bias-Variance Decomposition)

🎲 앙상블의 분산 감소 효과

📊 다수결 투표의 힘

🎯 프로젝트 예시: 고객 이탈 예측

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split, GridSearchCV, cross_val_score
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report, confusion_matrix, roc_auc_score
import matplotlib.pyplot as plt

# 1. 데이터 로드 및 전처리
df = pd.read_csv('telecom_churn.csv')

# 범주형 변수 인코딩
df = pd.get_dummies(df, columns=['gender', 'plan_type'], drop_first=True)

# 특성과 타겟 분리
X = df.drop('churn', axis=1)
y = df['churn']

# 훈련/테스트 분할
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42, stratify=y
)

# 2. 단일 결정 트리 모델
dt = DecisionTreeClassifier(
    max_depth=10,
    min_samples_split=20,
    min_samples_leaf=10,
    random_state=42
)
dt.fit(X_train, y_train)

dt_train_score = dt.score(X_train, y_train)
dt_test_score = dt.score(X_test, y_test)
dt_cv_score = cross_val_score(dt, X_train, y_train, cv=5).mean()

print("=== 결정 트리 성능 ===")
print(f"훈련 정확도: {dt_train_score:.4f}")
print(f"테스트 정확도: {dt_test_score:.4f}")
print(f"교차 검증 정확도: {dt_cv_score:.4f}")
print(f"과적합 정도: {dt_train_score - dt_test_score:.4f}\n")

# 3. 랜덤 포레스트 모델
rf = RandomForestClassifier(
    n_estimators=200,
    max_features='sqrt',
    max_depth=15,
    min_samples_split=10,
    min_samples_leaf=5,
    bootstrap=True,
    oob_score=True,
    random_state=42,
    n_jobs=-1
)
rf.fit(X_train, y_train)

rf_train_score = rf.score(X_train, y_train)
rf_test_score = rf.score(X_test, y_test)
rf_cv_score = cross_val_score(rf, X_train, y_train, cv=5).mean()

print("=== 랜덤 포레스트 성능 ===")
print(f"훈련 정확도: {rf_train_score:.4f}")
print(f"테스트 정확도: {rf_test_score:.4f}")
print(f"교차 검증 정확도: {rf_cv_score:.4f}")
print(f"OOB 정확도: {rf.oob_score_:.4f}")
print(f"과적합 정도: {rf_train_score - rf_test_score:.4f}\n")

# 4. 상세 평가
dt_pred = dt.predict(X_test)
rf_pred = rf.predict(X_test)

print("=== 결정 트리 분류 리포트 ===")
print(classification_report(y_test, dt_pred))

print("=== 랜덤 포레스트 분류 리포트 ===")
print(classification_report(y_test, rf_pred))

# ROC-AUC 점수
dt_auc = roc_auc_score(y_test, dt.predict_proba(X_test)[:, 1])
rf_auc = roc_auc_score(y_test, rf.predict_proba(X_test)[:, 1])

print(f"결정 트리 ROC-AUC: {dt_auc:.4f}")
print(f"랜덤 포레스트 ROC-AUC: {rf_auc:.4f}\n")

# 5. 특성 중요도 분석
feature_importance = pd.DataFrame({
    'feature': X.columns,
    'importance': rf.feature_importances_
}).sort_values('importance', ascending=False)

print("=== 상위 10개 중요 특성 ===")
print(feature_importance.head(10))

# 6. 하이퍼파라미터 튜닝 (선택사항)
param_grid = {
    'n_estimators': [100, 200, 300],
    'max_depth': [10, 15, 20],
    'min_samples_split': [5, 10, 15],
    'min_samples_leaf': [2, 5, 10]
}

grid_search = GridSearchCV(
    RandomForestClassifier(random_state=42, n_jobs=-1),
    param_grid,
    cv=5,
    scoring='roc_auc',
    n_jobs=-1
)
grid_search.fit(X_train, y_train)

print(f"\n최적 파라미터: {grid_search.best_params_}")
print(f"최적 ROC-AUC: {grid_search.best_score_:.4f}")

📈 결과 해석

🔥 그래디언트 부스팅(Gradient Boosting)

🎭 스태킹(Stacking)

🎪 보팅(Voting)

from sklearn.ensemble import VotingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC

voting_clf = VotingClassifier(
    estimators=[
        ('dt', DecisionTreeClassifier()),
        ('rf', RandomForestClassifier()),
        ('lr', LogisticRegression()),
        ('svm', SVC(probability=True))
    ],
    voting='soft'  # 소프트 보팅
)
voting_clf.fit(X_train, y_train)

📊 성능 비교