안녕! 혹시 보고서 쓰다가 이런 경험 있어?

"어... 데이터는 다 모았는데, 이걸 t검정으로 돌려야 하나 카이제곱으로 돌려야 하나?"

엑셀 파일 열어놓고 커서만 깜빡깜빡. 나도 그랬어.
그런데 사실 이 둘을 구분하는 건 생각보다 훨씬 단순해.
복잡한 수식 외울 필요도 없고, 통계학 전공자여야 하는 것도 아니야.

딱 하나만 물어보면 돼. "내 데이터가 숫자야, 아니면 칸이야?"

오늘은 이 질문 하나로 시작해서, 두 검정의 구조·전제조건·해석법·실무 함정까지
친구한테 설명하듯 쭉 풀어볼게. 커피 한 잔 들고 와.

1. 30초 요약: 이것만 기억해도 절반은 끝

바쁜 사람을 위한 초압축 버전부터 던질게.

즉, 데이터를 봤을 때 "평균을 내면 의미가 있나?"를 물어봐.

시험 점수 평균 78.3점 → 의미 있음 → t검정
성별 평균 1.4 → ...이게 뭐야? → 의미 없음 → 카이제곱

진짜 이게 끝이야. 나머지는 이 원칙을 실무에서 안전하게 쓰기 위한 디테일이고.
그래도 디테일에서 사고가 나니까, 계속 읽어보자.

2. 데이터의 척도부터: 왜 검정이 갈리는가

통계에서 변수는 크게 네 가지 척도로 나뉘어. 학부 첫 주에 배우고 다들 까먹는 그거.

명목·서열은 범주형, 등간·비율은 연속형으로 묶어.

왜 이게 중요하냐면, t검정은 '평균과 분산'이라는 개념 위에서 작동하거든.
평균이 성립하지 않는 데이터에 t검정을 돌리면, 계산은 되지만 숫자가 헛소리를 한다.

컴퓨터는 성별을 남자=1, 여자=2로 코딩해놓으면 평균 1.47을 아주 자신 있게 뱉어.
문제는 "우리 회사 평균 성별은 1.47입니다"라는 문장이 인간 세계에서 성립하지 않는다는 거지.

3. t검정 파헤치기

3-1. t검정이 하는 일

t검정은 한 문장으로 이래.

"두 집단의 평균 차이가, 그냥 운빨로 생길 수 있는 수준인가? 아니면 진짜 차이인가?"

핵심은 차이의 크기를 흩어진 정도(표준오차)로 나눈다는 거야.

t = (평균차이) / (차이의 표준오차)

즉,  t = (X̄₁ - X̄₂) / SE

- 분자: 두 집단 평균이 얼마나 떨어져 있나
- 분모: 데이터가 얼마나 들쭉날쭉한가 (+ 표본이 얼마나 큰가)

그래서 평균 차이가 커도 데이터가 엄청 흩어져 있으면 t값은 작아지고,
평균 차이가 작아도 데이터가 깔끔하게 모여 있으면 t값은 커져.

"차이가 노이즈에 비해 얼마나 큰가" — 이게 t의 본질이야.

3-2. t검정의 세 가지 얼굴

여기서 제일 많이 틀리는 게 독립 vs 대응 구분이야.

기준은 간단해. "같은 사람(개체)의 데이터가 두 번 등장하는가?"

등장하면 대응표본, 완전히 다른 사람들이면 독립표본.
다이어트 프로그램 전후 체중 → 같은 사람 → 대응표본
1학년과 2학년 키 비교 → 다른 사람 → 독립표본

대응표본인데 독립표본으로 돌리면? 개인차라는 노이즈가 제거되지 않아서
실제로는 효과가 있는데도 "유의하지 않음"이 나오는 참사가 벌어져.

3-3. t검정의 전제조건

3-4. 자유도라는 개념

출력물에 꼭 나오는 df(degree of freedom). 이게 뭐냐면,
"자유롭게 변할 수 있는 값의 개수"야.

독립표본 t검정에서는 대략 n₁ + n₂ - 2.
자유도가 커질수록 t분포는 정규분포에 가까워져. 표본이 많을수록 추정이 정밀해진다는 뜻이지.

4. 카이제곱 검정 파헤치기

4-1. 기본 아이디어

카이제곱(χ²) 검정은 평균을 안 봐. 대신 칸(cell)에 몇 개가 들어있나를 봐.

핵심 논리는 이거야.

"아무 관계가 없다면 이 정도 숫자가 나와야 해(기대빈도).
그런데 실제로는 이렇게 나왔네(관측빈도). 이 차이가 우연으로 설명될까?"

χ² = Σ (관측빈도 - 기대빈도)² / 기대빈도

기대빈도 = (해당 행 합계 × 해당 열 합계) / 전체 합계

차이를 제곱하는 이유는 플러스 마이너스가 상쇄되는 걸 막기 위해서,
기대빈도로 나누는 이유는 규모를 보정하기 위해서야.
기대 10개인데 5개 차이 나는 것과, 기대 1000개인데 5개 차이 나는 건 무게가 다르잖아.

4-2. 실제 계산 한 번 해보기

가상의 데이터. 광고 A/B 테스트라고 치자.

기대빈도 계산
A-구매함  : 200 × 100 / 400 = 50
A-구매안함: 200 × 300 / 400 = 150
B-구매함  : 200 × 100 / 400 = 50
B-구매안함: 200 × 300 / 400 = 150

χ² = (60-50)²/50 + (140-150)²/150
   + (40-50)²/50 + (160-150)²/150
   = 100/50 + 100/150 + 100/50 + 100/150
   = 2 + 0.667 + 2 + 0.667
   = 5.333

자유도 df = (2-1) × (2-1) = 1
임계값(α=0.05, df=1) = 3.841

5.333 > 3.841  →  귀무가설 기각
→ 광고 종류와 구매 여부는 독립이 아니다 (관련이 있다)

봤지? 곱셈 나눗셈만 할 줄 알면 손으로도 돼.
전환율로 보면 A가 30%, B가 20%. 눈으로 봐도 차이가 있어 보이는데,
그 차이가 통계적으로도 인정되는지를 확인해주는 게 카이제곱의 역할이야.

4-3. 카이제곱의 세 가지 용도

독립성과 동질성은 계산이 거의 똑같아. 차이는 표본을 어떻게 뽑았느냐에 있어.
전체에서 한 번에 뽑아 두 변수를 동시에 측정했으면 독립성,
집단별로 인원을 미리 정해놓고 뽑았으면 동질성. 실무에선 해석만 구분하면 충분해.

4-4. 카이제곱의 전제조건 (여기가 진짜 중요)

5. 나란히 놓고 비교하기

재미있는 포인트 하나. 카이제곱은 음수가 안 나와.
차이를 제곱해서 더하니까 항상 0 이상이지. 그래서 분포가 오른쪽으로 긴 꼬리를 가지고,
"값이 클수록 차이가 크다"는 단순한 해석이 성립해.

반면 t값은 음수도 나와. 어느 집단이 더 큰지를 부호가 알려주니까.
그래서 t는 방향성이 있고, 카이제곱은 "관련 있다/없다"만 말해줘.
카이제곱은 관계의 방향이나 강도를 직접 알려주지 않는다는 점, 꼭 기억해.

6. 상황별 선택 시나리오 10선

이제 실전. 실제로 자주 마주치는 상황들을 던져볼게.

⑦번을 특히 조심해. 세 집단을 t검정으로 세 번 나눠서 돌리는 사람이 진짜 많거든.
A-B, B-C, A-C 이렇게 세 번 돌리면 1종 오류가 누적돼.
각각 5%씩 틀릴 확률이 쌓여서 전체 오류율이 약 14%까지 치솟아.
그래서 세 집단 이상은 ANOVA를 먼저 돌리고, 사후검정(Tukey, Bonferroni)으로 가야 해.

7. p값, 제발 이렇게 읽지 말자

두 검정 모두 결과는 p값으로 나와. 근데 이 p값이 세상에서 가장 자주 오해받는 숫자야.

그래서 요즘은 p값만 쓰는 걸 지양하고 효과크기를 같이 보고해.

[t검정의 효과크기 — Cohen's d]
d = (평균차이) / (통합표준편차)

0.2 : 작음
0.5 : 중간
0.8 : 큼

[카이제곱의 효과크기 — Cramér's V]
V = √( χ² / (n × (min(행,열) - 1)) )

0.1 : 작음
0.3 : 중간
0.5 : 큼

"통계적으로 유의하다"와 "실무적으로 의미 있다"는 완전히 다른 말이야.
10만 명 대상 실험에서 전환율이 2.00% → 2.03%로 올랐고 p=0.01이 나왔다고 치자.
통계적으론 유의해. 근데 그걸 위해 개발 리소스 3개월 쓸 가치가 있을까? 그건 다른 질문이지.

이런 부분을 잘 짚어주는 리포트가 결국 좋은 리포트야.
재능넷의 '지식인의 숲'에서도 데이터 분석 관련 콘텐츠를 보면,
숫자 그 자체보다 숫자를 어떻게 해석하고 의사결정으로 연결하느냐를 강조하는 이유가 여기 있어.

8. 보고서에 쓰는 법 (양식 그대로 가져다 써)

문서작성 카테고리 글이니까 이 부분 빼먹으면 안 되지.
분석은 잘 해놓고 보고서에 어떻게 써야 할지 몰라서 헤매는 경우가 많거든.

8-1. t검정 결과 기술 양식

[독립표본 t검정]

A집단(n=45, M=78.32, SD=8.41)과
B집단(n=42, M=72.15, SD=9.03)의 시험 점수를 비교하기 위해
독립표본 t검정을 실시하였다.

Levene의 등분산 검정 결과 등분산 가정이 충족되었다
(F=1.23, p=.271).

분석 결과 두 집단 간 점수 차이는
통계적으로 유의하였다
(t(85)=3.30, p=.001, Cohen's d=0.71).

즉, A집단의 점수가 B집단보다 유의하게 높았으며,
효과크기는 중간 이상 수준이었다.

필수 포함 요소: 표본 수(n), 평균(M), 표준편차(SD), t값, 자유도, p값, 효과크기

8-2. 카이제곱 결과 기술 양식

[카이제곱 독립성 검정]

광고 유형과 구매 여부 간의 관련성을 확인하기 위해
카이제곱 독립성 검정을 실시하였다.

모든 셀의 기대빈도가 5 이상으로
카이제곱 검정의 가정을 충족하였다.

분석 결과 두 변수 간에는
통계적으로 유의한 관련성이 있었다
(χ²(1, N=400)=5.33, p=.021, Cramér's V=.12).

광고 A의 구매율은 30.0%로
광고 B의 20.0%보다 높게 나타났다.

필수 포함 요소: χ²값, 자유도, 전체 표본 수(N), p값, 효과크기, 실제 비율

9. 실무자들이 실제로 저지르는 실수 7가지

10. 검정 선택 최종 체크리스트

STEP 1. 종속변수(결과)가 숫자인가, 범주인가?
        숫자 → STEP 2
        범주 → STEP 4

STEP 2. 비교할 집단이 몇 개인가?
        1개(기준값과 비교) → 일표본 t검정
        2개 → STEP 3
        3개 이상 → ANOVA

STEP 3. 두 집단이 같은 대상인가?
        같은 대상(전후) → 대응표본 t검정
        다른 대상 → 독립표본 t검정
        └ 정규성 위배 + 소표본 → Mann-Whitney U
        └ 등분산 위배 → Welch's t-test

STEP 4. 범주형 변수가 몇 개인가?
        1개(이론분포와 비교) → 카이제곱 적합도 검정
        2개 → 카이제곱 독립성 검정
        └ 기대빈도 5 미만 셀 존재 → Fisher 정확검정
        └ 대응 구조(전후 찬반) → McNemar 검정

이 흐름도만 책상 옆에 붙여놔도 웬만한 상황은 다 커버돼.

11. 마무리: 도구보다 질문이 먼저다

여기까지 오느라 고생했어. 마지막으로 진짜 하고 싶은 말을 할게.

통계 검정을 고르는 일은 드라이버를 고르는 일과 같아.
십자 나사에 일자 드라이버 들이대면 나사만 망가지지.
근데 더 중요한 건, "내가 지금 어떤 나사를 조이려는 건지"를 아는 거야.

"평균이 다른지 궁금한가, 비율이 다른지 궁금한가?"

이 질문에 답할 수 있으면 검정은 자동으로 결정돼.
반대로 이 질문에 답을 못 하면, 아무리 좋은 통계 패키지를 써도
숫자만 쏟아지고 인사이트는 없는 보고서가 나와.

분석은 도구가 아니라 질문에서 시작한다 — 이게 오늘의 진짜 결론이야.

다음에 데이터 파일 열었을 때, 커서만 깜빡이지 말고
"이거 평균이야, 빈도야?"부터 물어보자. 그 순간부터 분석은 훨씬 쉬워질 거야.