데이터에도 공정이 있다

제조업에서 품질이란, 재료 → 공정 → 완제품까지 변동을 통제하고 결함을 낮추는 일입니다. 데이터도 크게 다르지 않아요. 원천 수집, 전송, 적재, 변환(ETL/ELT), 분석/모델링, 배포까지가 하나의 공정입니다. 각 단계마다 오차의 원인이 숨어 있고, 그 변동이 누적되면 최종 리포트나 모델 성능이 예측 불가능해집니다.
그래서 통계적 프로세스 관리(SPC)와 체계적 데이터 검증을 결합해, 공정과 산출물 둘 다를 관리하는 “이중 안전장치”가 필요합니다.

품질의 언어, 데이터 버전

혼선이 생기지 않게 용어를 정리해요. 친근하지만 정확하게요 🧭

데이터 품질 7대 차원

모든 검증은 결국 이 차원을 지키려는 움직임입니다. 하나씩 사례와 함께 봐요.

측정지표: 결함률부터 시그마까지

수치 없이 품질은 관리되지 않습니다. 자주 쓰는 지표를 정리합니다.

결함률: defects / totalDPMO: 백만 기회당 결함수시그마 수준: 결함확률의 표준편차 관점 표현FPY/RFPY: 첫 통과율/재작업 포함 누적 통과율

표본추출과 수리적 샘플링

전수검사는 비용이 큽니다. 합리적인 샘플링이 효과적이죠.

단순무작위: 모든 레코드가 같은 확률. 구현이 쉽지만 계층 편향을 잡지 못할 수 있어요.
층화추출: 지역, 채널, 고객세그먼트를 층으로 나눠 각각에서 뽑아요. 대표성이 좋아집니다.
체계추출: 100개마다 1개 등 간격추출. 스트리밍에서 실용적입니다.
수락샘플링(Acceptance Sampling): AQL/LTPD 기준으로 합격/불합격을 판단. 대용량 배치 파일 검수에 유용해요.

SPC를 데이터 파이프라인에

공장에서는 공정이 “통제 상태”인지부터 봅니다. 데이터도 마찬가지예요 🚦

데이터 검증 규칙, 이 정도는 필수

규칙은 명시되어야 자동화됩니다. 대표 규칙을 유형별로 모읍니다.

스키마: 타입, 널허용, 길이, 기본키, 외래키.
도메인: 값 집합 혹은 범위. 예: 성별 {F,M,U}.
비즈니스: 주문금액 = 단가×수량, 취소일 ≥ 주문일.
분포: 과거와 분포 유사성(KS 검정, PSI).
시간: 적재 지연, 이벤트 시퀀스 순서 규칙.
중복: 키/준중복(fuzzy) 탐지.
참조: 고객→주문 참조 무결성.

-- 키 중복, 널, 범위 체크 예시 (PostgreSQL)
WITH base AS (
  SELECT *, 
         (price < 0) AS neg_price,
         (quantity IS NULL) AS null_qty,
         (order_date > now()) AS future_date
  FROM sales
)
SELECT
  SUM(CASE WHEN neg_price THEN 1 ELSE 0 END) AS neg_price_cnt,
  SUM(CASE WHEN null_qty THEN 1 ELSE 0 END) AS null_qty_cnt,
  SUM(CASE WHEN future_date THEN 1 ELSE 0 END) AS future_date_cnt,
  COUNT(*) AS total
FROM base;

-- 참조 무결성 점검
SELECT s.order_id
FROM sales s
LEFT JOIN customers c ON s.customer_id = c.customer_id
WHERE c.customer_id IS NULL;

통계 검정의 자리

규칙기반 검증은 분명하지만, 은근슬쩍 드리프트하는 변화는 통계로 잡죠.

정규분포 가정 점검: 샤피로-윌크, 안데르센-달링 등. 필요하면 비모수 대안 사용.
분포 유사성: KS 검정(연속), 카이제곱(범주).
베포드 법칙: 회계성 데이터의 첫 자리 분포 검증.
이상치: z-score, IQR, MAD 기반 robust z.
변화점: CUSUM, Bayesian change point, EWMA.

# Python: KS 검정으로 분포 드리프트 탐지
import numpy as np
from scipy.stats import ks_2samp

baseline = np.load("baseline_amount.npy")
current  = np.load("current_amount.npy")
stat, p = ks_2samp(baseline, current)
if p < 0.01:
    print("분포 드리프트 경고")

시간, 계절성, 그리고 경보 설계

트래픽과 매출은 계절성을 탑니다. 시즌성까지 고려해야 “정상”을 정의할 수 있어요.

방법: STL 분해로 계절·추세·잔차 분리, 잔차에 SPC 적용. 이동창 EWMA로 민감한 탐지. 주중/주말, 캠페인 기간 등 컨텍스트별 한계를 따로 두세요.

ML 데이터 검증도 품질 관리다

학습·서빙 데이터는 품질에 더 민감해요 🧠

스키마·통계 서명: 피처 타입, 범위, 평균/표준편차, 상관 등 서명 저장. 새 배치와 비교.
데이터 드리프트: PSI, KL divergence, KS, 카테고리 엔트로피 변화 추적.
라벨 품질: 누락율, 클래스 불균형, 샘플링 편향.
모니터링: 예측-실제 지연을 고려한 딜레이드 라벨 모니터링, 데이터 SLO 설정.

결측치와 편향 다루기

결측은 정보의 메시지일 수도, 단순 누락일 수도 있어요.

결측 메커니즘: MCAR/MAR/MNAR 구분. MNAR이면 무작정 평균대치하면 편향이 커져요.
대치: 단순(mean/median), KNN, MICE, 임베딩 기반. 대치 전후 분포/상관 변화 체크 필수.
보고: 결측 패턴 히트맵, 변수별 결측률 트렌드.

측정 시스템 분석(MSA), 데이터판 게이지 R&R

계측기가 엉망이면 좋은 공정도 소용없습니다. 데이터도 마찬가지죠.

정밀도-정확도: 수집기(센서), 파싱 로직, OCR, 라벨러를 “측정 시스템”으로 간주.
반복성·재현성(R&R): 같은 데이터 반복 측정 변동, 주체 바뀌어도 일관한지. 분산분해로 비율 산출.
의사결정: R&R 비율 10% 이하면 좋음, 10–30% 개선 권고, 30% 이상은 사용 곤란.

라인리지, 메타데이터, 거버넌스

무엇이, 언제, 어디서, 왜 바뀌었는지 기록이 있어야 뒷수습이 빨라요.

라인리지: 칼럼 단위 변환 추적. 영향 분석과 롤백 판단에 필수.
메타데이터: 데이터 사전, 소유자, 품질 지표, 갱신 주기, SLA/SLO.
거버넌스: 사양 관리(Change Control), 승인 워크플로, 릴리즈 노트. 감사 추적을 남깁니다.

비용 시각: 예방이 제일 싸다

품질 비용(CoQ)은 예방·평가·내부실패·외부실패로 나눕니다. 리포트 배포 후 오류 발견은 외부실패 비용으로 치부되며, 신뢰 하락과 재작업 비용이 큽니다. 예방(자동 검증, 교육)과 평가(샘플링 검사) 비중을 늘려 총비용을 낮추는 전략이 장기적으로 유리합니다.

공정능력과 데이터 사양

오탐/미탐 비율, 결측률 같은 품질 특성에 사양을 설정하고 Cp/Cpk를 계산해 봅니다. 예: 결측률 공정 평균 0.8%, 표준편차 0.3%, 사양 상한 2%. 정규근사 하 Cp=(USL-LSL)/(6σ), LSL=0으로 두면 대략 Cp≈(2-0)/(6×0.3)=1.11. 평균이 사양 중앙에 없을 때는 Cpk를 보세요.

컨트롤 플랜과 SOP

사람이 바뀌어도 품질은 동일해야 합니다. 그래서 문서가 중요해요.

도구: 신뢰는 자동화에서 나온다

도구는 목적을 위해 봉사해야 합니다. 유명하고 검증된 것을 추천합니다 🛠️

SQL 테스트: 뷰/프로시저로 규칙 캡슐화, 스케줄러 연결.
Great Expectations: 파이썬 기반 선언형 기대치. 데이터 문서 자동 생성.
Pandera: 판다스 데이터프레임 스키마 검증.
Amazon Deequ: 대규모 스파크 데이터 품질 프로파일링/테스트.
dbt tests: 모델 단계의 단언(assert)와 문서화.
Soda Core/Monte Carlo: 모니터링과 알림, 라인리지 통합.

# Great Expectations 예시
from great_expectations.dataset import PandasDataset
class SalesDS(PandasDataset):
    _expectation_suite_name = "sales_suite"
# 기대치 정의
ds = SalesDS(df)
ds.expect_column_values_to_not_be_null("order_id")
ds.expect_column_values_to_be_between("price", min_value=0, max_value=100000)
ds.expect_column_values_to_match_regex("email", r"^[\w\.-]+@[\w\.-]+\.\w+$")

계약과 스키마 진화

프로듀서-컨슈머 계약을 문서화하세요. 스키마 변경은 호환성 유형을 명시합니다.

후방 호환: 새 필드 추가(널 허용), 기존은 영향 없음.
전방 호환: 소비자가 더 엄격해져도 과거 데이터 수용.
양방 호환: 가장 이상적이지만 어렵습니다. 버전 필드를 두고 점진 이행.

보안과 개인정보

품질과 보안은 동전의 양면. PII 탐지 정규식, 토큰화/가명처리, 액세스 제어, 감사 로그는 필수. 마스킹 후에도 룰 검증이 통과하는지 별도 테스트하세요.

리스크 기반 품질 설계

모든 규칙을 매일 전수 검사할 필요는 없습니다. 리스크와 영향으로 우선순위를 정합시다.

대시보드와 가시화

평균, 중앙값, 95P, 결함률, 적시성, 드리프트 지표, 최근 알람, 누적 MTTR 등을 타일 형태로 보여 주세요. 시그널-노이즈 비율을 높이려면, 임계값 근처를 색으로 구분하고 러닝 스파크라인을 곁들입니다.

사건 대응과 RCA

사고는 일어납니다. 중요한 건 빠른 봉합과 근본 원인 제거예요.

런북: 누구에게 알릴지, 임시 완화책은 무엇인지, 롤백 조건은 무엇인지.
RCA: 5 Why, 어골도(인력·프로세스·도구·데이터·환경).
교정/예방조치(CAPAs): 재발 방지 장치(테스트 추가, 권한 분리, 모니터 알림)를 문서로 남깁니다.

DMAIC로 추진하는 품질 개선

6시그마의 DMAIC를 데이터에 적용해봅시다.

정의: 품질 특성(Y)=결측률, 고객지표 영향 명시.
측정: 현재 수준, 변동성, 베이스라인 수집.
분석: 원인-결과 매핑, 상관, 회귀, 취약구간 찾기.
개선: 파싱 로직 보완, 스키마 테스트 도입, 재시도 큐 강화.
관리: SPC 대시보드, 알림, 주기 점검, 사양 관리 표준화.

컴플라이언스와 표준

품질 체계는 규정과의 대화입니다.

ISO 9001: 품질경영 시스템의 절차·기록 기반. 데이터 품질 프로세스에 적용.
ISO 8000: 데이터 품질 원칙과 메타데이터. 사전·정의 정합화.
GAMP5: CSV(Computer System Validation) 관점의 위험기반 검증.
GDPR/개보법: 최소 수집, 목적 제한, 정확성 원칙 준수.
FDA 21 CFR Part 11: 전자기록·서명 무결성 관리.

데이터 SLO와 에러 버짓

서비스처럼 데이터도 SLO를 둡니다. 예: 월 가용성 99.9%, 일일 적시성 99%, 결측률 1% 이하, 주요 컬럼 유효성 오류 0.2% 이하. 버짓을 넘으면 기능 릴리즈보다 안정화가 우선입니다.

작은 사례: 매출 리포트 신뢰 회복

어느 조직에서 월말 매출 리포트가 부정확하다는 불만이 잦았습니다. 조사를 해보니, 주말 배치에서 해외 통화 환율이 늦게 반영되어 -0.7% 오류가 누적되는 문제였어요. 개선은 이렇게 했습니다.

적시성 SLO: 환율 테이블 T+15분 내 업데이트. 지연 시 이전 환율 사용 금지.
스키마 테스트: 환율 유효 기간 겹침 금지, 음수 금지, 통화코드 ISO 검증.
SPC: 일별 환산차이 Xbar-R 차트. 3σ 초과 시 자동 롤백 및 알림.
대조: 외부 공개 환율 API와 일일 교차검증. 허용 오차 ±0.15%.
두 달 만에 불만이 사라졌고, 리포트 채택률이 40%→92%로 회복됐습니다.

체크리스트: 배포 전 1분 점검

1. 소스-타깃 레코드 수 일치/허용 편차 확인.
2. 핵심 컬럼 널/범위/정규식 통과율 99% 이상.
3. 참조 무결성 100% 통과.
4. 비즈니스 합산·평균 값 과거 4주 범위 내.
5. 드리프트 p-value≥0.01 또는 PSI≤0.2.
6. 적시성 SLO 충족, 배치 지연 15분 미만.
7. 알림/온콜 룰 정상, 롤백 스위치 점검.
8. 변경사항 릴리즈 노트 기록, 승인 완료.

문서 템플릿: 데이터 검증 계획서 스켈레톤

자주 겪는 함정과 회피술

규칙 과적재: 300개 규칙은 유지가 불가. Pareto로 상위 20%에 집중.
오탐 남발: 낮은 임계값은 경보 피로. 히스테리시스, 딜레이 적용.
배치-스트림 불일치: 배치 기준으로 만든 룰을 스트림에 적용하며 false alarm 급증. 모드별 튜닝 필요.
스키마 무버전: 가끔 필드 추가가 몰래. 계약과 버전 필수.
단발성 RCA: 사고 후 규칙 하나 추가하고 끝. 구조적 교정조치까지.

작업 문화: 친절한 결과, 단호한 기준

품질은 사람의 습관에서 나옵니다. 누구나 읽기 쉬운 네이밍, 짧고 명확한 규칙 설명, 자동화된 리포트, 그리고 데이터 소유자가 스스로 보는 대시보드. 서로가 서로의 고객이라고 생각해보면, 톤은 더 친절해지고 기준은 더 분명해집니다. 재능 공유 커뮤니티인 재능넷처럼, 서로의 전문성을 믿고 기준을 합의하는 생태계가 중요해요.

FAQ, 딱 궁금한 것만

Q. 데이터가 너무 커서 전수 검증이 불가능해요.
A. 위험도 기반으로 규칙을 나누고, 핵심 규칙은 전수·실시간, 나머지는 샘플링/배치로 계층화하세요.

Q. SPC가 꼭 필요할까요?
A. 규칙 위반만 보면 “결함”만 잡습니다. SPC는 “변동”의 이상 신호를 조기 경보합니다. 둘 다 필요해요.

Q. 드리프트가 탐지됐어요. 바로 배포 중단?
A. 영향 추정이 중요합니다. A/B 세이프가드, Shadow 테스트 등으로 영향 크기를 확인하고 중단 임계값을 미리 정의하세요.

Q. 규정 준수까지 하려면 너무 복잡해요.
A. 위험도가 높은 데이터부터 표준을 적용하고, 템플릿·자동화를 늘리면 유지 비용이 줄어듭니다.

미니 용어사전

PSI: Population Stability Index, 분포 안정성 지표.
CUSUM: 누적합 관리도, 작은 변화 감지에 민감.
Benford: 1이 더 자주 등장하는 자연 데이터의 자리수 법칙.
κ(카파): 라벨 일치도. 1에 가까울수록 좋음.
RPN: 위험우선순위수, FMEA의 핵심 지표.

현장 적용, 이렇게 시작하세요

1) 현재 리포트/모델 중 신뢰 논란이 있는 대상 하나 선택. 2) 품질 특성과 지표 정의. 3) 상위 10개 규칙을 자동화. 4) SPC 대시보드로 변동을 가시화. 5) 한 달 간 알림/조치 로그를 모아 RCA. 6) 표준화·문서화를 팀 간 공유. 이 정도면 한 분기 안에 확실한 체감 효과가 납니다. 그리고 필요하다면 재능넷에서 관련 전문가의 템플릿과 실무 팁을 얻어보는 것도 좋아요.

마무리 한 줄

통계 품질 관리와 데이터 검증은 “믿을 수 있는 결론”을 만드는 가장 인간적인 기술입니다. 기준을 정하고, 변동을 이해하고, 실수를 기록하고, 더 나아지는 것. 그 과정을 팀 문화로 만들면, 데이터는 숫자 그 이상의 신뢰가 됩니다 ⚙️

© 실전 지식 가이드. 내부 표준과 규정을 확인하고 환경에 맞게 조정하세요.