1. "1,000명으로 전국 민심을?" 그 의심부터 정면 돌파

뉴스 하단에 깔리는 문구를 한 번쯤 보셨을 겁니다. "전국 만 18세 이상 남녀 1,000명, 95% 신뢰수준에 표본오차 ±3.1%포인트." 많은 사람이 여기서 고개를 갸웃합니다. 인구가 5천만 명인데 1,000명이면 0.002%에 불과하니까요.

그런데 통계학의 답은 꽤 반전입니다. 모집단이 충분히 크면, 필요한 표본 크기는 모집단 크기와 거의 상관이 없습니다. 서울시 조사든 전국 조사든, 심지어 미국 전체 조사든 같은 정밀도를 원하면 필요한 인원은 거의 같습니다.

비유하자면 국 간 보기와 같습니다. 냄비가 작든 큰 들통이든, 잘 저어 놓았다면 한 숟가락만 떠도 간을 알 수 있죠. 들통이 크다고 열 숟가락을 먹어야 하는 건 아닙니다. 중요한 건 숟가락의 크기(표본 수)와 얼마나 잘 저었느냐(무작위성)입니다. 이 두 가지가 이 글 전체를 관통하는 키워드입니다.

2. 표본 크기를 결정하는 네 가지 레버

표본 크기 계산은 마치 믹싱 콘솔의 레버 네 개를 조절하는 일과 비슷합니다. 하나를 올리면 다른 하나가 따라 움직입니다.

신뢰수준과 오차, 헷갈리지 않게

"95% 신뢰수준, ±3.1%p"라는 말은 "지지율 40%라는 결과는 95% 확률로 정확하다"는 뜻이 아닙니다. 정확한 의미는 이렇습니다. 같은 방식으로 표본을 뽑아 조사를 반복하면, 그렇게 만든 구간(36.9%~43.1%) 중 약 95%가 실제 모집단 값을 포함한다는 것입니다. 일상적으로는 "실제 값은 대략 36.9%에서 43.1% 사이 어딘가에 있을 가능성이 높다" 정도로 이해하면 충분합니다.

신뢰수준별로 쓰이는 z 값은 아래와 같습니다. 표준정규분포에서 양쪽 꼬리를 잘라낸 지점이죠.

3. 마법의 공식: 384와 1,067은 어디서 왔나

비율(찬성률, 만족도 비율, 구매 의향 비율 등)을 추정하는 조사에서 가장 널리 쓰이는 공식은 통계학자 윌리엄 코크런(William G. Cochran)의 표본조사 교과서 『Sampling Techniques』로 잘 알려진 형태입니다.

실제로 계산해 볼까요? 95% 신뢰수준(z=1.96), p=0.5, 허용오차 ±5%p(e=0.05)라면

n₀ = 1.96² × 0.5 × 0.5 ÷ 0.05² = 3.8416 × 0.25 ÷ 0.0025 = 384.16 → 385명
(표본은 정수여야 하므로 올림합니다. 문헌에 따라 384로 표기하기도 합니다.)

허용오차를 ±3%p로 좁히면 0.9604 ÷ 0.0009 = 1,067.1이 되어 약 1,068명이 필요합니다. 여론조사가 대체로 1,000명 안팎인 이유가 바로 여기 있습니다. 비용 대비 "±3%p 근처"라는 체감 가능한 정밀도를 얻는 지점이기 때문입니다.

※ p=0.5, 무한 모집단 가정. 소수점은 올림.

오차를 절반으로 줄이는 값은 '4배'

공식에서 e가 분모에 제곱으로 들어가 있다는 점이 핵심입니다. 오차를 ±5%p에서 ±2.5%p로 절반 줄이려면 표본은 2배가 아니라 4배가 필요합니다. 위 그래프의 곡선이 처음엔 가파르게 떨어지다가 갈수록 납작해지는 이유입니다. 100명에서 400명으로 늘리면 오차가 9.8%p에서 4.9%p로 극적으로 줄지만, 2,000명에서 4,000명으로 늘려도 2.2%p가 1.5%p가 될 뿐입니다.

그래서 실무에서는 "어디서 멈출지"가 진짜 실력입니다. 예산 2배를 써서 오차 0.7%p를 줄일지, 그 돈으로 문항 설계나 응답 품질 관리에 투자할지 판단해야 하죠.

반대로, 이미 표본이 있을 때 오차 구하기

공식을 뒤집으면 주어진 표본의 오차를 계산할 수 있습니다.

1,000명이면 1.96 × √(0.25 ÷ 1000) = 1.96 × 0.0158 ≈ 0.031, 즉 ±3.1%p입니다. 뉴스에서 보던 바로 그 숫자죠. 500명이면 ±4.4%p, 300명이면 ±5.7%p, 200명이면 ±6.9%p, 100명이면 ±9.8%p가 됩니다.

평균을 추정할 때는 공식이 조금 다르다

"월평균 지출액", "하루 스마트폰 사용 시간"처럼 평균을 구하는 조사라면 비율 대신 표준편차(σ)를 사용합니다.

예를 들어 하루 사용 시간의 표준편차가 약 60분이라고 예상되고, 평균을 ±5분 이내로 추정하고 싶다면 (1.96 × 60 ÷ 5)² = 23.52² ≈ 553.2, 즉 554명이 필요합니다. 문제는 σ를 미리 모른다는 점인데, 보통 과거 조사·선행 연구·파일럿 조사 결과에서 빌려옵니다. 아무 근거가 없을 때는 응답 범위를 4~6으로 나눈 값을 대략적인 표준편차로 쓰는 경험칙도 있지만, 어디까지나 거친 추정임을 기억해야 합니다.

4. 모집단이 작을 때: 유한모집단 수정(FPC)

"우리 회사 직원 300명 만족도 조사"라면 사정이 달라집니다. 앞 공식은 모집단이 무한히 크다고 가정하기 때문에, 작은 집단에 그대로 쓰면 필요 이상으로 많은 인원을 요구합니다. 이때 쓰는 것이 유한모집단 수정입니다.

95%, ±5%p 기준(n₀≈384.16)을 대입해보면 결과가 꽤 흥미롭습니다.

보이시나요? 모집단이 1만 명에서 100만 명으로 100배 커져도 필요한 표본은 370명에서 385명으로 15명 늘 뿐입니다. 반대로 모집단이 1,000명 이하로 작아지면 수정 효과가 커집니다. "전국 조사인데 왜 1,000명밖에 안 되냐"는 질문의 답이 이 표 안에 다 들어 있습니다.

5. 계산기 숫자는 '최소치'일 뿐: 현실 보정 3종 세트

공식으로 나온 숫자는 단순무작위추출, 100% 응답, 모든 응답 유효라는 이상적인 조건을 전제로 합니다. 현실은 그렇게 친절하지 않죠. 실무에서는 다음 세 가지 보정을 거칩니다.

① 응답률 보정: 몇 명에게 '보내야' 하나

필요한 건 응답 1,000건인데, 응답률이 20%라면 최소 5,000명에게 접촉해야 합니다. 여기에 불성실 응답(일자형 응답, 너무 빠른 응답, 주의 확인 문항 실패 등)을 10% 정도 걸러낼 계획이라면 계산은 이렇게 바뀝니다.

유효 1,000명 ÷ 0.9(유효율) = 응답 1,112명 → 1,112 ÷ 0.2(응답률) = 접촉 5,560명

응답률은 조사 방식에 따라 천차만별입니다. 사내 설문은 비교적 높고, 불특정 다수에게 보내는 이메일·문자 설문이나 전화조사는 한 자릿수까지 떨어지기도 합니다. 그래서 같은 주제의 과거 조사 응답률을 확인하거나, 소규모로 먼저 발송해 응답률을 실측해 보는 것이 가장 정확합니다.

② 설계효과(Design Effect): 집락·가중치의 대가

실제 대규모 조사는 단순무작위추출보다 "지역을 먼저 뽑고 그 안에서 가구를 뽑는" 집락추출이나 층화추출을 자주 씁니다. 같은 동네 사람들은 생각이 비슷한 경향이 있어서, 집락추출을 하면 1,000명을 조사해도 정보량이 1,000명분이 되지 않습니다. 이 손실을 나타내는 지표가 설계효과(DEFF)입니다.

DEFF가 1.5라면 1,000명을 조사해도 단순무작위추출 기준 약 667명분의 정밀도밖에 얻지 못합니다. 따라서 목표가 "유효 1,068명"이라면 1,068 × 1.5 ≈ 1,602명을 조사해야 합니다. 사후에 성별·연령·지역 비율을 맞추는 가중치를 크게 줄 때도 비슷하게 유효 표본이 줄어듭니다. 특정 집단 응답자가 적어 가중치를 몇 배씩 곱해야 한다면, 그 집단 소수의 응답이 결과를 크게 흔들 수 있으니 주의해야 합니다.

③ 하위집단 분석: 진짜 표본은 '가장 작은 칸'

실무에서 가장 자주 터지는 실수가 이것입니다. 전체 1,000명을 조사해 놓고 "20대 여성은 어떻게 생각할까?"를 보고 싶어집니다. 그런데 1,000명 중 20대 여성은 대략 80~90명 남짓일 수 있습니다. 그 집단의 오차는 ±10%p를 넘나듭니다.

그러니 표본 설계는 "전체 결과"가 아니라 "가장 잘게 쪼개서 볼 집단"을 기준으로 해야 합니다. 연령대 5개 그룹을 각각 ±5%p 수준으로 비교하고 싶다면 그룹당 약 385명, 전체 약 1,925명이 필요합니다. 특정 소수 집단이 중요하다면 그 집단만 의도적으로 더 뽑는 과대표집(오버샘플링) 후, 전체 분석 때 가중치로 원래 비율을 되돌리는 방법을 씁니다.

두 집단의 '차이'를 볼 때는 오차가 더 커진다

A 후보 42%, B 후보 38%면 A가 앞선 걸까요? 각 지지율의 오차가 ±3.1%p일 때, 두 수치의 차이에 대한 오차는 그보다 큽니다. 한 표본 안에서 두 후보의 지지율을 비교하는 경우, 두 지지율이 서로 연관되어 있기 때문에 차이의 오차는 대략 개별 오차의 1.7~2배 가까이까지 커질 수 있습니다. 그래서 언론 보도에서 "오차범위 내 접전"이라는 표현을 쓰는 것이고, 4%p 차이는 1,000명 조사에서 통계적으로 확실한 우위라고 말하기 어렵습니다.

서로 독립인 두 집단(예: 남성 500명 vs 여성 500명)의 비율을 비교할 때는 각 집단 오차의 제곱합에 루트를 씌웁니다. 각각 ±4.4%p라면 차이의 오차는 √(4.4² + 4.4²) ≈ ±6.2%p입니다. 그룹별로 나눠 "남녀 차이가 5%p 났다"고 보고서에 쓰기 전에 이 계산을 꼭 해보세요.

6. "차이가 있는지" 검증하고 싶다면: 검정력 분석

지금까지는 "값을 얼마나 정확히 추정하느냐"의 관점이었습니다. 그런데 연구나 A/B 테스트에서는 질문이 다릅니다. "신규 디자인이 기존보다 만족도가 높은가?"처럼 차이의 존재를 검증하려면 검정력 분석(Power Analysis)으로 표본을 정합니다.

여기에는 네 가지 요소가 맞물립니다.

심리통계학자 제이컵 코언(Jacob Cohen)은 두 집단 평균 비교에서 효과크기 d를 0.2(작음), 0.5(중간), 0.8(큼)으로 구분하는 기준을 제시했습니다. α=0.05(양측), 검정력 0.80인 독립표본 t검정 기준 필요 표본은 다음과 같습니다.

표가 말해주는 교훈은 명확합니다. "아주 미세한 차이까지 잡고 싶다"는 욕심은 표본을 기하급수적으로 키웁니다. 효과크기를 정할 때는 비즈니스나 연구에서 의미 있는 최소 차이가 무엇인지부터 합의하세요. 만족도 5점 척도에서 0.05점 차이는 통계적으로 유의하게 만들 수는 있어도 실질적 의미는 거의 없습니다.

자주 쓰이는 분석별 기준값

7. 직접 계산해보기: 코드 한 조각

엑셀만으로도 충분하지만, 반복 계산이 많다면 짧은 코드가 편합니다. 아래는 비율 추정용 표본 크기를 유한모집단 수정, 응답률, 설계효과까지 반영해 계산하는 파이썬 예시입니다.

import math

def sample_size(e=0.05, z=1.96, p=0.5, N=None,
                response_rate=1.0, deff=1.0, valid_rate=1.0):
    n0 = (z**2) * p * (1 - p) / (e**2)
    if N:                                  # 유한모집단 수정
        n0 = n0 / (1 + (n0 - 1) / N)
    n_complete = n0 * deff / valid_rate    # 설계효과·불성실 응답 보정
    n_contact = n_complete / response_rate # 응답률 보정
    return math.ceil(n_complete), math.ceil(n_contact)

# 전국 조사, ±3%p, 설계효과 1.3, 유효율 90%, 응답률 15%
print(sample_size(e=0.03, deff=1.3, valid_rate=0.9, response_rate=0.15))
# → (1542, 10274) : 응답 약 1,542명, 접촉 약 10,274명

엑셀에서는 =ROUNDUP(NORM.S.INV(0.975)^2*0.25/0.05^2,0) 한 줄로 기본 n₀를 구할 수 있습니다. 여기서 NORM.S.INV(0.975)가 1.96을 돌려줍니다.

8. 숫자보다 무서운 것: 많아도 틀리는 조사

표본 크기 공식이 계산해주는 오차는 표본오차(sampling error)뿐입니다. 즉 "무작위로 뽑았기 때문에 생기는 우연의 흔들림"만 다룹니다. 그런데 현실 조사의 더 큰 적은 따로 있습니다.

역사 속 반면교사: 1936년 리터러리 다이제스트

1936년 미국 대선 때 잡지 『리터러리 다이제스트』는 약 1,000만 명에게 모의 투표용지를 보내 약 240만 명의 응답을 받았습니다. 어마어마한 표본이죠. 결과는 공화당 랜던 후보의 승리 예측. 그러나 실제로는 루스벨트가 압승했습니다.

원인으로는 잡지 구독자, 전화·자동차 보유자 명단 등 상대적으로 부유층에 치우친 표본 틀과, 의견이 강한 사람이 더 많이 응답하는 무응답 편향이 함께 거론됩니다. 반면 조지 갤럽은 훨씬 적은 표본으로 루스벨트의 승리를 맞혀 이름을 알렸습니다. 240만 명의 치우친 표본은 소규모의 잘 설계된 표본을 이기지 못했습니다. 이 사건은 지금도 통계학 수업의 단골 사례입니다.

온라인 패널 조사가 보편화된 요즘은 쿼터 표집(성별·연령·지역 비율을 맞춰 모집)과 가중치를 결합하는 방식이 흔합니다. 실무적으로 유용하지만, 엄밀히 확률표본은 아니라는 점을 보고서에 투명하게 밝히는 것이 신뢰를 얻는 길입니다.

9. 상황별 실전 가이드: 내 설문은 몇 명?

지금까지의 원리를 실제 상황에 적용해 봅시다. 아래 수치는 계산 원리에 근거한 가이드이며, 각자의 조건에 맞게 조정해야 합니다.

🏢 사내 직원 만족도 조사 (직원 400명)

유한모집단 수정 적용 시 ±5%p 기준 약 197명이 필요합니다. 하지만 부서별 비교를 원한다면 부서당 인원이 적어 표본 추출의 의미가 약합니다. 전원 대상 발송 + 응답률 극대화가 정답에 가깝고, 익명성 보장이 응답률과 솔직함을 동시에 끌어올립니다. 응답자가 너무 적은 부서는 개인이 특정될 수 있으니 결과를 묶어서 공개하는 배려도 필요합니다.

🛍️ 스타트업 고객 반응 조사

방향성 파악이 목적이라면 100~200명으로도 "확실히 높다/낮다"는 큰 흐름은 보입니다(오차 ±7~10%p). 다만 "선호도 52% vs 48%" 같은 미세한 판단에는 쓸 수 없습니다. 출시 여부를 결정하는 중요한 조사라면 400명 이상을 권합니다.

🎓 학위 논문 설문

사용할 분석 기법이 표본을 결정합니다. 회귀분석 예측변수 6개라면 Green의 경험칙으로 50+48=98명이 최소선이고, 구조방정식을 쓴다면 일반적으로 그보다 훨씬 많은 인원이 요구됩니다. 지도교수와 분석 방법을 먼저 확정한 뒤 G*Power로 계산한 근거를 논문 방법론 장에 기술하면 심사에서 훨씬 탄탄해집니다.

🗳️ 지역 여론조사

관례적으로 500~1,000명 규모가 흔합니다. 500명은 ±4.4%p, 1,000명은 ±3.1%p입니다. 지역 내 세부 권역별 분석까지 하려면 권역별 표본을 별도로 확보해야 합니다. 선거 관련 여론조사는 공표 시 지켜야 할 법적 기준이 있으므로 관련 기관의 최신 규정을 반드시 확인하세요.

🧪 A/B 테스트

전환율 5%에서 6%로의 개선(절대 1%p)을 잡아내려면 그룹당 수천 명 단위가 필요할 정도로 큰 표본이 요구됩니다. 기준 전환율이 낮고 기대 개선 폭이 작을수록 표본은 폭발적으로 늘어납니다. 테스트 시작 전에 계산하고, 결과가 좋아 보인다고 중간에 멈추는 "엿보기(peeking)"는 거짓 양성 확률을 높이니 피해야 합니다.

🗣️ 심층 인터뷰·정성 조사

정성 연구는 대표성이 아니라 포화(saturation), 즉 새 인터뷰에서 더 이상 새로운 주제가 나오지 않는 지점을 기준으로 합니다. Guest, Bunce, Johnson(2006)의 연구에서는 비교적 동질적인 집단 대상 인터뷰에서 주요 주제 대부분이 처음 12건 안에 나타났다고 보고했습니다. 다만 집단이 이질적이거나 주제가 복잡하면 더 필요합니다. 정성 조사 결과에 "%"를 붙여 일반화하는 것은 금물입니다.

📝 예비조사(파일럿)

본조사 전 문항의 이해도, 소요 시간, 응답 분포를 확인하는 단계입니다. 목적이 다르므로 대표성보다 "문제를 발견할 만큼"이면 됩니다. 문헌에 따라 집단당 12명, 10~40명 등 다양한 권고가 있으며, 파일럿에서 얻은 표준편차·응답률은 본조사 표본 계산의 귀중한 재료가 됩니다.

10. 표본 크기 결정 6단계 체크리스트

11. 보고서에 쓰는 법: 신뢰받는 문서의 한 문단

통계·분석 문서에서 표본 정보는 결과의 신뢰도를 보증하는 '스펙 시트'입니다. 아래 항목을 빠짐없이 담으면 읽는 사람이 결과를 얼마나 믿어도 되는지 스스로 판단할 수 있습니다.

표본오차는 결과의 '흔들림 폭'을 보여줄 뿐, 결과가 '옳다'는 보증서가 아니다. 좋은 보고서는 숫자의 한계까지 함께 적는다.

그래프에서도 신경 써야 할 점이 있습니다. 하위집단 막대그래프 옆에 각 집단의 응답자 수(n)를 표기하세요. "20대 만족도 72%"라는 막대가 사실 n=38이라면, 독자는 그 숫자를 훨씬 조심스럽게 받아들일 겁니다. 오차 막대(error bar)를 함께 그리면 "오차범위 내 차이"를 시각적으로 바로 전달할 수 있습니다.

이런 조사 설계나 보고서 시각화가 막막하다면 혼자 끙끙대기보다 전문가의 손을 빌리는 것도 방법입니다. 재능넷에는 설문 설계, 통계 분석, 데이터 시각화 같은 재능을 가진 사람들이 활동하고 있어, 표본 설계 검토부터 분석 보고서 작성까지 필요한 부분만 의뢰할 수 있습니다.

12. 자주 묻는 질문 Q&A

Q. 표본이 많을수록 무조건 좋은 거 아닌가요?

정밀도는 올라가지만 수익이 체감합니다. 그리고 표본이 지나치게 커지면 의미 없는 미세한 차이까지 "통계적으로 유의"하게 나옵니다. 수만 명 데이터에서 p값이 0.001이라도 효과크기가 아주 작다면 실무적 의미는 없을 수 있습니다. 그래서 큰 표본일수록 p값보다 효과크기와 신뢰구간을 함께 보는 습관이 중요합니다.

Q. 응답자가 목표보다 적게 모였어요. 결과를 버려야 하나요?

버릴 필요는 없습니다. 실제 표본으로 오차를 다시 계산해 보고서에 정직하게 쓰면 됩니다. 400명 목표에 250명이 모였다면 ±6.2%p로 정밀도가 낮아졌음을 밝히고, 하위집단 분석은 자제하는 식입니다. 오히려 숫자를 맞추려고 조사 기간 막판에 특정 채널로 급하게 모집하면 편향이 생길 수 있습니다.

Q. 5점 척도 평균을 볼 건데 비율 공식을 써도 되나요?

평균이 목적이라면 평균 공식(z·σ/e)을 쓰는 것이 원칙입니다. 다만 "만족(4~5점) 비율"을 핵심 지표로 삼는다면 비율 공식이 맞습니다. 핵심 지표를 무엇으로 볼지 먼저 정하는 것이 순서입니다.

Q. 모집단 크기를 정확히 모르면요?

대략 2만 명 이상이라면 유한모집단 수정의 효과가 미미하므로 무한 모집단 공식을 쓰면 됩니다. 앞의 표에서 보았듯 모집단 1만 명과 100만 명의 필요 표본 차이는 크지 않습니다.

Q. 신뢰수준 95%가 법칙인가요?

관례일 뿐 법칙은 아닙니다. 빠른 내부 판단이라면 90%로 표본을 줄일 수 있고, 잘못된 결론의 비용이 큰 의료·안전 영역에서는 99%를 쓰기도 합니다. 중요한 건 기준을 미리 정하고 보고서에 밝히는 것입니다.

결국 "몇 명이면 충분할까?"라는 질문에 대한 가장 정확한 답은 "무엇을, 얼마나 정확하게, 누구 단위로 알고 싶은가에 따라 다르다"입니다. 다만 이제 여러분은 그 '다르다'를 숫자로 바꾸는 방법을 알게 되었습니다. 다음 설문을 설계할 때, 계산기를 두드리기 전에 이 질문 세 가지부터 던져보세요. 숫자는 그다음에 자연스럽게 따라옵니다. 그리고 설계와 분석 과정에서 도움이 필요하다면 재능넷의 데이터·리서치 분야 전문가들과 함께 고민해 보는 것도 좋은 선택이 될 겁니다.

#표본크기#표본오차#신뢰수준#검정력분석#설문설계