🚨 알림 설정하기 - 문제 생기면 바로 알려드려요!

모니터링의 꽃은 역시 알림이죠! 문제가 생겼을 때 바로 알려주는 기능이 없다면 모니터링의 의미가 반감되니까요. 프로메테우스의 알림 시스템을 알아볼게요!

프로메테우스의 알림 시스템은 두 부분으로 나뉘어요:

1. 알림 규칙(Alerting Rules): 프로메테우스 서버에서 정의하는 조건
2. Alertmanager: 알림을 처리하고 적절한 채널로 전송하는 컴포넌트

먼저 알림 규칙부터 설정해볼게요. alert_rules.yml 파일을 만들어서 다음과 같이 작성해보세요:

groups:
- name: example
  rules:
  - alert: HighCPULoad
    expr: 100 - (avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "High CPU load (instance {{ $labels.instance }})"
      description: "CPU load is > 80%\n  VALUE = {{ $value }}\n  LABELS: {{ $labels }}"
  
  - alert: HighMemoryUsage
    expr: (node_memory_MemTotal_bytes - node_memory_MemFree_bytes - node_memory_Buffers_bytes - node_memory_Cached_bytes) / node_memory_MemTotal_bytes * 100 > 80
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "High memory usage (instance {{ $labels.instance }})"
      description: "Memory usage is > 80%\n  VALUE = {{ $value }}\n  LABELS: {{ $labels }}"
    

이 규칙 파일을 프로메테우스 설정에 추가해야 해요:

rule_files:
  - "alert_rules.yml"
    

이제 Alertmanager를 설정해볼게요. Alertmanager는 별도의 서비스로 실행해야 해요:

# 도커로 Alertmanager 실행하기
docker run -p 9093:9093 prom/alertmanager
    

Alertmanager의 설정 파일(alertmanager.yml)은 이렇게 작성할 수 있어요:

global:
  resolve_timeout: 5m
  slack_api_url: 'https://hooks.slack.com/services/YOUR_SLACK_WEBHOOK_URL'

route:
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 1h
  receiver: 'slack-notifications'

receivers:
- name: 'slack-notifications'
  slack_configs:
  - channel: '#alerts'
    send_resolved: true
    title: "{{ range .Alerts }}{{ .Annotations.summary }}\n{{ end }}"
    text: "{{ range .Alerts }}{{ .Annotations.description }}\n{{ end }}"
    

이렇게 설정하면 CPU나 메모리 사용량이 80%를 넘으면 Slack으로 알림이 가요! 물론 이메일, 텔레그램, 디스코드 등 다양한 채널로도 알림을 보낼 수 있어요. 😎

알림 설정의 꿀팁을 몇 가지 알려드릴게요:

1. 알림 피로(Alert Fatigue)를 피하세요 - 너무 많은 알림은 중요한 알림을 놓치게 만들어요
2. 적절한 임계값을 설정하세요 - 너무 낮으면 불필요한 알림이, 너무 높으면 중요한 문제를 놓칠 수 있어요
3. 알림에 충분한 컨텍스트를 포함하세요 - 문제가 무엇인지, 어디서 발생했는지 명확히 알려주세요
4. 심각도 수준을 구분하세요 - 모든 알림이 같은 중요도를 가지지 않아요