📊 Exporter 설정하기

Prometheus는 Pull 방식이라 메트릭을 노출하는 Exporter가 필요해. 다양한 시스템에 맞는 Exporter를 설치해보자! 🔌

docker run -d \
  --name node-exporter \
  --net="host" \
  --pid="host" \
  -v "/:/host:ro,rslave" \
  prom/node-exporter:latest \
  --path.rootfs=/host

# Node Exporter 다운로드
wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0.linux-amd64.tar.gz
tar xvfz node_exporter-1.7.0.linux-amd64.tar.gz
sudo mv node_exporter-1.7.0.linux-amd64/node_exporter /usr/local/bin/

# systemd 서비스 파일 생성
sudo tee /etc/systemd/system/node_exporter.service << EOF
[Unit]
Description=Node Exporter
After=network.target

[Service]
Type=simple
User=prometheus
ExecStart=/usr/local/bin/node_exporter \
  --collector.filesystem.mount-points-exclude=^/(sys|proc|dev|host|etc)($$|/) \
  --collector.netclass.ignored-devices=^(veth.*|docker.*|br-.*)$$

[Install]
WantedBy=multi-user.target
EOF

# 서비스 시작
sudo systemctl daemon-reload
sudo systemctl enable node_exporter
sudo systemctl start node_exporter

# 확인
curl http://localhost:9100/metrics

Node Exporter를 실행하면 9100 포트로 메트릭이 노출돼. 브라우저나 curl로 접속해보면 엄청나게 많은 메트릭이 보일 거야! 😲

node_cpu_seconds_total, node_memory_MemAvailable_bytes, node_disk_io_time_seconds_total 같은 메트릭들이 실시간으로 업데이트되지.

docker run -d \
  --name=cadvisor \
  --volume=/:/rootfs:ro \
  --volume=/var/run:/var/run:ro \
  --volume=/sys:/sys:ro \
  --volume=/var/lib/docker/:/var/lib/docker:ro \
  --volume=/dev/disk/:/dev/disk:ro \
  --publish=8080:8080 \
  --detach=true \
  gcr.io/cadvisor/cadvisor:latest

dependencies {
    implementation 'org.springframework.boot:spring-boot-starter-actuator'
    implementation 'io.micrometer:micrometer-registry-prometheus'
}

management:
  endpoints:
    web:
      exposure:
        include: health,info,prometheus,metrics
  metrics:
    export:
      prometheus:
        enabled: true
    tags:
      application: ${spring.application.name}
      environment: production
  endpoint:
    prometheus:
      enabled: true

import io.micrometer.core.instrument.Counter;
import io.micrometer.core.instrument.MeterRegistry;
import io.micrometer.core.instrument.Timer;
import org.springframework.stereotype.Service;

@Service
public class OrderService {
    
    private final Counter orderCounter;
    private final Timer orderProcessingTimer;
    
    public OrderService(MeterRegistry registry) {
        this.orderCounter = Counter.builder("orders.created")
            .description("Total number of orders created")
            .tag("type", "online")
            .register(registry);
            
        this.orderProcessingTimer = Timer.builder("orders.processing.time")
            .description("Order processing time")
            .register(registry);
    }
    
    public void createOrder(Order order) {
        orderProcessingTimer.record(() -> {
            // 주문 처리 로직
            processOrder(order);
            orderCounter.increment();
        });
    }
}

이렇게 하면 /actuator/prometheus 엔드포인트로 애플리케이션 메트릭이 노출돼. 비즈니스 로직에 맞는 커스텀 메트릭을 추가하면 정말 강력한 모니터링이 가능해! 💪

🎨 Grafana 설치 및 대시보드 구성

이제 수집한 데이터를 멋지게 시각화할 차례야! Grafana는 정말 직관적이고 강력한 도구야. 🎯

version: '3.8'

services:
  prometheus:
    # ... (이전 설정)

  grafana:
    image: grafana/grafana:latest
    container_name: grafana
    ports:
      - "3000:3000"
    environment:
      - GF_SECURITY_ADMIN_USER=admin
      - GF_SECURITY_ADMIN_PASSWORD=your-secure-password
      - GF_USERS_ALLOW_SIGN_UP=false
      - GF_SERVER_ROOT_URL=http://grafana.yourdomain.com
      - GF_INSTALL_PLUGINS=grafana-piechart-panel,grafana-worldmap-panel
    volumes:
      - grafana-data:/var/lib/grafana
      - ./grafana/provisioning:/etc/grafana/provisioning
    depends_on:
      - prometheus
    restart: unless-stopped
    networks:
      - monitoring

volumes:
  prometheus-data:
  grafana-data:

networks:
  monitoring:
    driver: bridge

Grafana를 실행하고 http://localhost:3000으로 접속하면 로그인 화면이 나와. 기본 계정은 admin/admin이지만, 위 설정에서 비밀번호를 변경했으니 그걸 사용하면 돼! 🔐

Grafana에서 가장 먼저 할 일은 Prometheus를 데이터 소스로 추가하는 거야. 수동으로 할 수도 있지만, Provisioning을 사용하면 자동화할 수 있어!

apiVersion: 1

datasources:
  - name: Prometheus
    type: prometheus
    access: proxy
    url: http://prometheus:9090
    isDefault: true
    editable: true
    jsonData:
      timeInterval: 15s
      queryTimeout: 60s
      httpMethod: POST
    version: 1

이제 본격적으로 대시보드를 만들어보자! Grafana의 진가는 여기서 발휘돼. 😎

처음부터 만들 수도 있지만, Grafana Labs에서 제공하는 커뮤니티 대시보드를 import하는 게 훨씬 빠르고 효율적이야!

대시보드를 import하는 방법은 간단해:
1. Grafana 좌측 메뉴에서 "+" → "Import" 클릭
2. 대시보드 ID 입력 (예: 1860)
3. Prometheus 데이터 소스 선택
4. Import 버튼 클릭!

이제 직접 패널을 만들어보자! PromQL을 사용해서 원하는 메트릭을 쿼리하고 시각화할 수 있어. 💡

100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)

(1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100

100 - ((node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}) * 100)

histogram_quantile(0.95, rate(http_request_duration_seconds_bucket[5m]))

(sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m]))) * 100

PromQL은 처음엔 좀 어려울 수 있어. 하지만 익숙해지면 정말 강력한 도구야! 🚀

rate(), increase(), sum(), avg() 같은 함수들을 조합하면 거의 모든 메트릭을 원하는 형태로 가공할 수 있지.

Grafana에서도 알림을 설정할 수 있어! Alerting 메뉴에서 Alert Rule을 만들어보자.

{
  "alert": "HighCPUUsage",
  "expr": "100 - (avg by(instance) (rate(node_cpu_seconds_total{mode=\"idle\"}[5m])) * 100) > 80",
  "for": "5m",
  "labels": {
    "severity": "warning",
    "team": "infrastructure"
  },
  "annotations": {
    "summary": "High CPU usage detected on {{ $labels.instance }}",
    "description": "CPU usage is {{ $value }}% for more than 5 minutes"
  }
}

알림은 Slack, Email, PagerDuty, Webhook 등 다양한 채널로 보낼 수 있어. 팀의 커뮤니케이션 도구와 연동하면 정말 편리하지! 📱

⚡ 고급 설정 및 최적화

기본 구축은 끝났어! 이제 프로덕션 환경에서 안정적으로 운영하기 위한 고급 설정들을 알아보자. 🎓

Prometheus는 시계열 데이터를 로컬 디스크에 저장해. 시간이 지나면 데이터가 계속 쌓이니까 관리가 필요하지!

# 데이터 보관 기간 설정
--storage.tsdb.retention.time=30d

# 최대 스토리지 크기 설정
--storage.tsdb.retention.size=50GB

# 압축 설정
--storage.tsdb.min-block-duration=2h
--storage.tsdb.max-block-duration=24h

# WAL 압축 활성화
--storage.tsdb.wal-compression

여러 데이터센터나 클러스터를 모니터링한다면 Federation이 답이야! 중앙 Prometheus가 여러 하위 Prometheus에서 데이터를 수집하는 구조지. 🌐

scrape_configs:
  - job_name: 'federate'
    scrape_interval: 30s
    honor_labels: true
    metrics_path: '/federate'
    params:
      'match[]':
        - '{job="prometheus"}'
        - '{__name__=~"job:.*"}'
        - '{__name__=~"node_.*"}'
    static_configs:
      - targets:
          - 'prometheus-dc1:9090'
          - 'prometheus-dc2:9090'
          - 'prometheus-dc3:9090'
        labels:
          datacenter: 'global'

복잡한 PromQL 쿼리를 매번 실행하면 느려질 수 있어. Recording Rules를 사용하면 미리 계산해서 저장할 수 있지! ⚡

groups:
  - name: node_rules
    interval: 30s
    rules:
      # CPU 사용률 사전 계산
      - record: instance:node_cpu_utilization:rate5m
        expr: 100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)
      
      # 메모리 사용률 사전 계산
      - record: instance:node_memory_utilization:ratio
        expr: 1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)
      
      # 디스크 사용률 사전 계산
      - record: instance:node_disk_utilization:ratio
        expr: 1 - (node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"})
      
      # 네트워크 트래픽 사전 계산
      - record: instance:node_network_receive_bytes:rate5m
        expr: rate(node_network_receive_bytes_total[5m])
      
      - record: instance:node_network_transmit_bytes:rate5m
        expr: rate(node_network_transmit_bytes_total[5m])

  - name: application_rules
    interval: 30s
    rules:
      # HTTP 요청 속도
      - record: job:http_requests:rate5m
        expr: sum by(job, status) (rate(http_requests_total[5m]))
      
      # 에러율
      - record: job:http_errors:rate5m
        expr: sum by(job) (rate(http_requests_total{status=~"5.."}[5m]))
      
      # 평균 응답 시간
      - record: job:http_request_duration:avg
        expr: |
          sum by(job) (rate(http_request_duration_seconds_sum[5m]))
          /
          sum by(job) (rate(http_request_duration_seconds_count[5m]))

Recording Rules를 사용하면 대시보드 로딩 속도가 엄청 빨라져! 특히 복잡한 집계 쿼리나 여러 패널에서 같은 계산을 반복할 때 효과적이야. 🚀

프로덕션 환경에서는 보안이 정말 중요해! 기본 설정으로는 누구나 접근할 수 있거든. 😱

# web.yml 파일 생성
basic_auth_users:
  admin: $2y$10$hashed_password_here

# Prometheus 실행 시 옵션 추가
--web.config.file=web.yml

# grafana.ini 또는 환경변수
[security]
admin_user = admin
admin_password = your-secure-password
secret_key = your-secret-key-for-signing

[auth]
disable_login_form = false
disable_signout_menu = false

[auth.anonymous]
enabled = false

[auth.basic]
enabled = true

[users]
allow_sign_up = false
allow_org_create = false

[session]
cookie_secure = true
cookie_samesite = strict

🔍 실전 활용 사례

이론은 충분히 배웠으니 이제 실전 사례를 보자! 실제 프로덕션 환경에서 어떻게 활용하는지 알아볼게. 💼

대규모 쇼핑몰을 운영한다고 가정해보자. 주문, 결제, 재고 관리 등 여러 마이크로서비스가 있어.

// 주문 생성 메트릭
order_created_total{status="success"} 1234
order_created_total{status="failed"} 5
order_amount_sum{currency="KRW"} 15000000

// 결제 메트릭
payment_processed_total{method="card",status="success"} 890
payment_processed_total{method="card",status="failed"} 10
payment_processing_duration_seconds{quantile="0.95"} 0.8

// 재고 메트릭
inventory_check_total 5678
inventory_low_stock_items 23
inventory_out_of_stock_items 3

SaaS 서비스는 사용자 경험이 정말 중요해. 응답 시간, 가용성, 에러율을 철저히 모니터링해야 해!

# 가용성 (Availability) - 목표: 99.9%
(
  sum(rate(http_requests_total{status!~"5.."}[30d]))
  /
  sum(rate(http_requests_total[30d]))
) * 100

# 응답 시간 (Latency) - 목표: 95%ile < 200ms
histogram_quantile(0.95,
  sum by(le) (rate(http_request_duration_seconds_bucket[5m]))
)

# 에러율 (Error Rate) - 목표: < 0.1%
(
  sum(rate(http_requests_total{status=~"5.."}[5m]))
  /
  sum(rate(http_requests_total[5m]))
) * 100

# 처리량 (Throughput)
sum(rate(http_requests_total[5m]))

Kubernetes 환경은 동적이라 모니터링이 더 복잡해. 파드가 계속 생성되고 삭제되니까!

# 파드 상태
sum by(namespace, pod) (kube_pod_status_phase{phase="Running"})
sum by(namespace, pod) (kube_pod_status_phase{phase="Pending"})
sum by(namespace, pod) (kube_pod_status_phase{phase="Failed"})

# 컨테이너 재시작 횟수
sum by(namespace, pod) (rate(kube_pod_container_status_restarts_total[5m]))

# 노드 리소스 사용률
sum by(node) (
  node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes
) / sum by(node) (node_memory_MemTotal_bytes) * 100

# 파드 리소스 사용률
sum by(namespace, pod) (
  rate(container_cpu_usage_seconds_total[5m])
)

# HPA 상태
kube_horizontalpodautoscaler_status_current_replicas
kube_horizontalpodautoscaler_status_desired_replicas

# PVC 사용률
(
  kubelet_volume_stats_used_bytes
  /
  kubelet_volume_stats_capacity_bytes
) * 100

재능넷 같은 플랫폼에서 DevOps 전문가를 찾아 컨설팅을 받으면, 이런 실전 노하우를 직접 배울 수 있어! 특히 처음 구축할 때는 경험자의 조언이 정말 큰 도움이 되지. 🎓

🚀 다음 단계와 고급 주제

기본 구축을 마쳤다면 이제 더 깊이 들어가볼 차례야! 🎯

Prometheus는 단일 서버라 확장성에 한계가 있어. Thanos를 사용하면 여러 Prometheus를 통합하고 장기 데이터를 저장할 수 있지!

# Prometheus with Thanos Sidecar
prometheus:
  --storage.tsdb.min-block-duration=2h
  --storage.tsdb.max-block-duration=2h

thanos-sidecar:
  --prometheus.url=http://localhost:9090
  --tsdb.path=/prometheus
  --objstore.config-file=/etc/thanos/bucket.yml

# Thanos Query - 통합 쿼리 인터페이스
thanos-query:
  --http-address=0.0.0.0:9090
  --store=thanos-sidecar-1:10901
  --store=thanos-sidecar-2:10901
  --store=thanos-store:10901

# Thanos Store - 장기 스토리지 게이트웨이
thanos-store:
  --data-dir=/var/thanos/store
  --objstore.config-file=/etc/thanos/bucket.yml

# Thanos Compactor - 데이터 압축 및 다운샘플링
thanos-compactor:
  --data-dir=/var/thanos/compact
  --objstore.config-file=/etc/thanos/bucket.yml
  --retention.resolution-raw=30d
  --retention.resolution-5m=90d
  --retention.resolution-1h=1y

메트릭만으로는 부족해! 로그도 함께 보면 문제 해결이 훨씬 쉬워져. Loki는 Prometheus처럼 레이블 기반으로 로그를 인덱싱해.

# docker-compose.yml에 추가
loki:
  image: grafana/loki:latest
  ports:
    - "3100:3100"
  volumes:
    - ./loki-config.yml:/etc/loki/local-config.yaml
  command: -config.file=/etc/loki/local-config.yaml

promtail:
  image: grafana/promtail:latest
  volumes:
    - /var/log:/var/log
    - ./promtail-config.yml:/etc/promtail/config.yml
  command: -config.file=/etc/promtail/config.yml

Grafana에서 Loki를 데이터 소스로 추가하면 메트릭과 로그를 한 화면에서 볼 수 있어! 정말 강력하지? 😍

📚 마무리하며

와! 여기까지 정말 긴 여정이었어. 🎉

Prometheus와 Grafana를 활용한 모니터링 시스템 구축에 대해 기초부터 고급 주제까지 다뤄봤어. 이제 당신도 시스템을 지키는 수호자가 될 준비가 됐어! 💪

모니터링은 한 번 구축하고 끝이 아니야. 지속적으로 개선하고 최적화해야 해. 새로운 서비스가 추가되면 메트릭을 추가하고, 알림 규칙을 조정하고, 대시보드를 업데이트하는 거지.

처음엔 어려울 수 있지만, 하나씩 차근차근 따라하다 보면 어느새 전문가가 되어 있을 거야! 😊

모니터링 시스템 구축이 처음이거나 더 깊이 있는 학습이 필요하다면, 재능넷에서 DevOps 전문가들의 도움을 받아보는 것도 좋은 선택이야. 실무 경험이 풍부한 전문가들이 당신의 환경에 최적화된 솔루션을 제안해줄 거야! 🌟

이 글이 도움이 되었기를 바라! 궁금한 점이 있다면 언제든 커뮤니티에 질문하고, 경험을 공유하면서 함께 성장하자! 💪

Happy Monitoring! 🎉