🎯 왜 고가용성이 필요할까?

🔧 HAProxy가 뭔데?

🏗️ 시스템 아키텍처 설계

⚙️ HAProxy 설치 및 기본 설정

sudo apt update
sudo apt install haproxy -y

# 버전 확인
haproxy -v

sudo yum install haproxy -y

# 또는 최신 버전을 원한다면
sudo yum install epel-release -y
sudo yum install haproxy -y

global
    # 전역 설정 (로그, 성능 튜닝 등)
    
defaults
    # 기본값 설정 (타임아웃, 로그 포맷 등)
    
frontend
    # 클라이언트 접속을 받는 부분
    
backend
    # 실제 서버들을 정의하는 부분
    
listen
    # frontend + backend를 합친 간단한 설정

📝 HAProxy 설정 파일 작성

#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
    log         127.0.0.1 local2
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon
    
    # SSL 설정 (필요시)
    tune.ssl.default-dh-param 2048

#---------------------------------------------------------------------
# Defaults settings
#---------------------------------------------------------------------
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option                  http-server-close
    option                  forwardfor except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000

#---------------------------------------------------------------------
# Frontend configuration
#---------------------------------------------------------------------
frontend php_frontend
    bind *:80
    # HTTPS를 사용한다면
    # bind *:443 ssl crt /etc/haproxy/certs/server.pem
    
    default_backend php_backend
    
    # ACL 설정 예시 (특정 경로 분기)
    acl is_api path_beg /api
    use_backend api_backend if is_api

#---------------------------------------------------------------------
# Backend configuration
#---------------------------------------------------------------------
backend php_backend
    balance     roundrobin
    option      httpchk GET /health.php
    
    # PHP 서버들 정의
    server php1 192.168.1.10:80 check inter 3000 rise 2 fall 3
    server php2 192.168.1.11:80 check inter 3000 rise 2 fall 3
    server php3 192.168.1.12:80 check inter 3000 rise 2 fall 3 backup

#---------------------------------------------------------------------
# Stats page (모니터링용)
#---------------------------------------------------------------------
listen stats
    bind *:8080
    stats enable
    stats uri /haproxy-stats
    stats refresh 30s
    stats auth admin:your_secure_password_here

🏥 헬스 체크 PHP 파일 작성

<?php
// 기본 헬스 체크
http_response_code(200);
echo "OK";
?>

<?php
header('Content-Type: application/json');

$health = [
    'status' => 'healthy',
    'timestamp' => date('Y-m-d H:i:s'),
    'server' => gethostname(),
    'checks' => []
];

// PHP 버전 체크
$health['checks']['php_version'] = [
    'status' => 'ok',
    'version' => PHP_VERSION
];

// 메모리 사용량 체크
$memory_usage = memory_get_usage(true);
$memory_limit = ini_get('memory_limit');
$health['checks']['memory'] = [
    'status' => 'ok',
    'usage' => round($memory_usage / 1024 / 1024, 2) . ' MB',
    'limit' => $memory_limit
];

// 데이터베이스 연결 체크
try {
    $pdo = new PDO(
        'mysql:host=192.168.1.20;dbname=myapp',
        'dbuser',
        'dbpassword',
        [PDO::ATTR_TIMEOUT => 3]
    );
    $health['checks']['database'] = [
        'status' => 'ok',
        'message' => 'Connected'
    ];
} catch (PDOException $e) {
    $health['status'] = 'unhealthy';
    $health['checks']['database'] = [
        'status' => 'error',
        'message' => 'Connection failed'
    ];
    http_response_code(503);
}

// Redis 연결 체크 (선택사항)
if (class_exists('Redis')) {
    try {
        $redis = new Redis();
        $redis->connect('192.168.1.30', 6379, 2);
        $redis->ping();
        $health['checks']['redis'] = [
            'status' => 'ok',
            'message' => 'Connected'
        ];
    } catch (Exception $e) {
        $health['checks']['redis'] = [
            'status' => 'warning',
            'message' => 'Not available'
        ];
    }
}

// 디스크 공간 체크
$disk_free = disk_free_space('/');
$disk_total = disk_total_space('/');
$disk_usage_percent = round((1 - $disk_free / $disk_total) * 100, 2);

if ($disk_usage_percent > 90) {
    $health['status'] = 'unhealthy';
    $health['checks']['disk'] = [
        'status' => 'critical',
        'usage' => $disk_usage_percent . '%'
    ];
    http_response_code(503);
} else {
    $health['checks']['disk'] = [
        'status' => 'ok',
        'usage' => $disk_usage_percent . '%'
    ];
}

echo json_encode($health, JSON_PRETTY_PRINT);
?>

🎛️ 로드 밸런싱 알고리즘 선택

backend php_backend
    balance roundrobin
    server php1 192.168.1.10:80 check
    server php2 192.168.1.11:80 check

backend php_backend
    balance leastconn
    server php1 192.168.1.10:80 check
    server php2 192.168.1.11:80 check

backend php_backend
    balance source
    hash-type consistent
    server php1 192.168.1.10:80 check
    server php2 192.168.1.11:80 check

backend php_backend
    balance uri
    hash-type consistent
    server php1 192.168.1.10:80 check
    server php2 192.168.1.11:80 check

backend php_backend
    balance roundrobin
    server php1 192.168.1.10:80 check weight 100
    server php2 192.168.1.11:80 check weight 50
    server php3 192.168.1.12:80 check weight 150

🔐 세션 관리 전략

backend php_backend
    balance roundrobin
    cookie SERVERID insert indirect nocache
    server php1 192.168.1.10:80 check cookie php1
    server php2 192.168.1.11:80 check cookie php2
    server php3 192.168.1.12:80 check cookie php3

sudo apt install redis-server -y
sudo systemctl start redis
sudo systemctl enable redis

<?php
// php.ini 파일 수정
// session.save_handler = redis
// session.save_path = "tcp://192.168.1.30:6379"

// 또는 코드에서 직접 설정
ini_set('session.save_handler', 'redis');
ini_set('session.save_path', 'tcp://192.168.1.30:6379');

session_start();
$_SESSION['user_id'] = 12345;
?>

<?php
// JWT 라이브러리 사용 (composer require firebase/php-jwt)
use Firebase\JWT\JWT;
use Firebase\JWT\Key;

// 로그인 시 토큰 발급
function generateToken($userId) {
    $secret_key = "your-secret-key-here";
    $payload = [
        'user_id' => $userId,
        'exp' => time() + 3600, // 1시간 유효
        'iat' => time()
    ];
    
    return JWT::encode($payload, $secret_key, 'HS256');
}

// 토큰 검증
function verifyToken($token) {
    $secret_key = "your-secret-key-here";
    try {
        $decoded = JWT::decode($token, new Key($secret_key, 'HS256'));
        return $decoded;
    } catch (Exception $e) {
        return false;
    }
}

// 사용 예시
$token = generateToken(12345);
// 클라이언트에게 토큰 전달 (쿠키 또는 헤더)

// 다음 요청에서 토큰 검증
$user_data = verifyToken($_COOKIE['auth_token']);
if ($user_data) {
    echo "Welcome, User ID: " . $user_data->user_id;
}
?>

🚀 PHP-FPM 최적화

[www]
; 프로세스 관리 방식
pm = dynamic

; 최소 유지 프로세스 수
pm.start_servers = 5

; 최소 대기 프로세스 수
pm.min_spare_servers = 5

; 최대 대기 프로세스 수
pm.max_spare_servers = 10

; 최대 프로세스 수 (중요!)
pm.max_children = 50

; 각 프로세스가 처리할 최대 요청 수
pm.max_requests = 500

; 프로세스 우선순위
process_priority = -10

; 느린 요청 로깅
request_slowlog_timeout = 5s
slowlog = /var/log/php-fpm/slow.log

; 타임아웃 설정
request_terminate_timeout = 30s

; PHP-FPM 상태 페이지 활성화
pm.status_path = /fpm-status

; Ping 페이지 활성화
ping.path = /fpm-ping
ping.response = pong

location ~ ^/(fpm-status|fpm-ping)$ {
    access_log off;
    allow 127.0.0.1;
    deny all;
    include fastcgi_params;
    fastcgi_pass unix:/var/run/php/php8.2-fpm.sock;
}

📊 모니터링 및 로깅

# 실시간 로그 확인
sudo tail -f /var/log/haproxy.log

# 에러만 필터링
sudo grep "error" /var/log/haproxy.log

# 특정 IP의 요청 추적
sudo grep "192.168.1.100" /var/log/haproxy.log

defaults
    log-format "%ci:%cp [%tr] %ft %b/%s %TR/%Tw/%Tc/%Tr/%Ta %ST %B %CC %CS %tsc %ac/%fc/%bc/%sc/%rc %sq/%bq %hr %hs %{+Q}r"

frontend stats
    bind *:8404
    http-request use-service prometheus-exporter if { path /metrics }
    stats enable
    stats uri /stats
    stats refresh 10s

🔒 보안 강화 전략

frontend https_frontend
    bind *:443 ssl crt /etc/haproxy/certs/server.pem
    
    # HTTP를 HTTPS로 리다이렉트
    redirect scheme https code 301 if !{ ssl_fc }
    
    # 보안 헤더 추가
    http-response set-header Strict-Transport-Security "max-age=31536000; includeSubDomains; preload"
    http-response set-header X-Frame-Options "SAMEORIGIN"
    http-response set-header X-Content-Type-Options "nosniff"
    http-response set-header X-XSS-Protection "1; mode=block"
    
    default_backend php_backend

sudo apt install certbot -y
sudo certbot certonly --standalone -d yourdomain.com

# 인증서와 키를 하나의 파일로 합치기
sudo cat /etc/letsencrypt/live/yourdomain.com/fullchain.pem \
     /etc/letsencrypt/live/yourdomain.com/privkey.pem \
     > /etc/haproxy/certs/server.pem

frontend php_frontend
    # 연결 속도 제한
    stick-table type ip size 100k expire 30s store conn_rate(3s)
    tcp-request connection track-sc0 src
    tcp-request connection reject if { sc_conn_rate(0) gt 20 }
    
    # 요청 속도 제한
    stick-table type ip size 100k expire 30s store http_req_rate(10s)
    http-request track-sc1 src
    http-request deny if { sc_http_req_rate(1) gt 100 }
    
    # 동시 연결 수 제한
    acl too_many_connections src_conn_cur gt 10
    http-request deny if too_many_connections

frontend php_frontend
    # ACL 정의
    acl whitelist src 192.168.1.0/24 10.0.0.0/8
    acl blacklist src 1.2.3.4 5.6.7.8
    
    # 블랙리스트 차단
    http-request deny if blacklist
    
    # 관리자 페이지는 화이트리스트만 허용
    acl is_admin path_beg /admin
    http-request deny if is_admin !whitelist

# UFW 방화벽 설정 (Ubuntu)
sudo ufw default deny incoming
sudo ufw default allow outgoing

# HAProxy 서버에서만 접근 허용
sudo ufw allow from 192.168.1.100 to any port 80
sudo ufw allow from 192.168.1.100 to any port 443

# SSH는 특정 IP에서만 허용
sudo ufw allow from 203.0.113.0/24 to any port 22

sudo ufw enable

# 자동 보안 업데이트 설정
sudo apt install unattended-upgrades -y
sudo dpkg-reconfigure -plow unattended-upgrades

# 수동 업데이트
sudo apt update
sudo apt upgrade -y
sudo systemctl restart haproxy
sudo systemctl restart php8.2-fpm

🧪 장애 시나리오 테스트

# PHP Server 1에서 실행
sudo systemctl stop nginx
sudo systemctl stop php8.2-fpm

# Apache Bench 설치
sudo apt install apache2-utils -y

# 동시 접속 100명, 총 10000번 요청
ab -n 10000 -c 100 http://your-server/

# wrk 사용 (더 강력함)
sudo apt install wrk -y
wrk -t12 -c400 -d30s http://your-server/

# PHP Server 1에 100ms 지연 추가
sudo tc qdisc add dev eth0 root netem delay 100ms

# 확인
ping 192.168.1.10

# 제거
sudo tc qdisc del dev eth0 root

sudo systemctl stop mysql

sudo systemctl start mysql

⚡ 성능 최적화 고급 팁

frontend https_frontend
    bind *:443 ssl crt /etc/haproxy/certs/server.pem alpn h2,http/1.1
    
    # HTTP/2 최적화
    tune.h2.initial-window-size 65535
    tune.h2.max-concurrent-streams 100

backend php_backend
    compression algo gzip
    compression type text/html text/plain text/css text/javascript application/javascript application/json

frontend php_frontend
    # 정적 파일 ACL
    acl is_static path_end .jpg .jpeg .png .gif .css .js .ico .woff .woff2
    
    # 정적 파일은 캐시 백엔드로
    use_backend static_backend if is_static

backend static_backend
    balance roundrobin
    http-request cache-use static-cache
    http-response cache-store static-cache
    server static1 192.168.1.10:80 check
    server static2 192.168.1.11:80 check

cache static-cache
    total-max-size 256
    max-object-size 10000
    max-age 3600

backend php_backend
    option http-keep-alive
    option prefer-last-server
    timeout http-keep-alive 10s
    
    # 서버당 최대 유지 연결 수
    server php1 192.168.1.10:80 check maxconn 100
    server php2 192.168.1.11:80 check maxconn 100

global
    # CPU 코어 수만큼 프로세스 생성
    nbproc 4
    
    # CPU 친화성 설정 (각 프로세스를 특정 코어에 바인딩)
    cpu-map 1 0
    cpu-map 2 1
    cpu-map 3 2
    cpu-map 4 3

global
    tune.bufsize 32768
    tune.maxrewrite 8192
    tune.ssl.default-dh-param 2048

🔄 무중단 배포 전략

# HAProxy 소켓 명령어 사용
echo "set server php_backend/php1 state drain" | sudo socat stdio /var/run/haproxy.sock

# 연결 수 확인
echo "show stat" | sudo socat stdio /var/run/haproxy.sock | grep php1

# PHP Server 1에서 실행
git pull origin main
composer install --no-dev --optimize-autoloader
php artisan migrate --force
php artisan cache:clear
sudo systemctl restart php8.2-fpm

# 수동으로 활성화
echo "set server php_backend/php1 state ready" | sudo socat stdio /var/run/haproxy.sock

# 또는 자동으로 헬스 체크가 통과되면 활성화됨

#!/bin/bash

SERVERS=("php1" "php2" "php3")
BACKEND="php_backend"

for SERVER in "${SERVERS[@]}"; do
    echo "Updating $SERVER..."
    
    # Drain 모드로 전환
    echo "set server $BACKEND/$SERVER state drain" | socat stdio /var/run/haproxy.sock
    
    # 30초 대기
    sleep 30
    
    # 서버 업데이트 (SSH로 원격 실행)
    ssh $SERVER "cd /var/www/html && git pull && composer install && php artisan migrate --force"
    
    # 서비스 재시작
    ssh $SERVER "sudo systemctl restart php8.2-fpm"
    
    # 10초 대기 (헬스 체크 통과 대기)
    sleep 10
    
    # Ready 상태로 전환
    echo "set server $BACKEND/$SERVER state ready" | socat stdio /var/run/haproxy.sock
    
    echo "$SERVER updated successfully!"
done

echo "All servers updated!"

🌐 멀티 데이터센터 구성

# Route 53 Geolocation Routing 예시
- 한국 사용자 → 서울 데이터센터 (203.0.113.10)
- 일본 사용자 → 도쿄 데이터센터 (203.0.113.30)
- 기타 지역 → 서울 데이터센터 (기본값)

# Master 서버 (서울)
[mysqld]
server-id = 1
log_bin = /var/log/mysql/mysql-bin.log
binlog_do_db = myapp

# Slave 서버 (부산)
[mysqld]
server-id = 2
relay-log = /var/log/mysql/mysql-relay-bin.log
log_bin = /var/log/mysql/mysql-bin.log
read_only = 1

🐛 트러블슈팅 가이드

# 1. 헬스 체크 URL 직접 테스트
curl http://192.168.1.10/health.php

# 2. PHP-FPM 상태 확인
sudo systemctl status php8.2-fpm

# 3. 로그 확인
sudo tail -f /var/log/php8.2-fpm.log

# 4. 방화벽 규칙 확인
sudo ufw status

# HAProxy에 Sticky Session 추가
backend php_backend
    cookie SERVERID insert indirect nocache
    server php1 192.168.1.10:80 check cookie php1
    server php2 192.168.1.11:80 check cookie php2

# 또는 Redis 세션 저장소 사용
# php.ini
session.save_handler = redis
session.save_path = "tcp://192.168.1.30:6379"

# PHP-FPM 프로세스 수 증가
# /etc/php/8.2/fpm/pool.d/www.conf
pm.max_children = 100

# HAProxy 타임아웃 증가
timeout server 60s
timeout connect 10s

# 서버 추가 또는 스케일 업

# 메모리 사용량 모니터링
free -h
ps aux --sort=-%mem | head -10

# PHP-FPM 프로세스 수 조정
pm.max_children = (총 메모리 - 2GB) / 평균 프로세스 메모리

# 메모리 누수 찾기
php artisan route:cache
php artisan config:cache
composer dump-autoload --optimize

# 인증서 확인
openssl x509 -in /etc/haproxy/certs/server.pem -text -noout

# 인증서 갱신 (Let's Encrypt)
sudo certbot renew
sudo cat /etc/letsencrypt/live/yourdomain.com/fullchain.pem \
     /etc/letsencrypt/live/yourdomain.com/privkey.pem \
     > /etc/haproxy/certs/server.pem
sudo systemctl reload haproxy

📚 실전 체크리스트

🎓 학습 리소스 및 다음 단계

🎯 마무리하며