Ver5.0 ๐งช A/B ํ ์คํธ๋ฅผ ํตํ ์ผํ๋ชฐ UI/UX ์ต์ ํ โ ๊ฐ ๋์ ๋ฐ์ดํฐ๋ก ๋ฒํผ ํ๋๊น์ง ์ฆ๋ช ํ๋ ์คํ์ค ๊ฐ์ด๋

๐งช A/B ํ ์คํธ๋ฅผ ํตํ ์ผํ๋ชฐ UI/UX ์ต์ ํ โ ๊ฐ ๋์ ๋ฐ์ดํฐ๋ก ๋ฒํผ ํ๋๊น์ง ์ฆ๋ช ํ๋ ์คํ์ค ๊ฐ์ด๋
"์ด๋ก ๋ฒํผ์ด ๋ ์ ํ๋ฆด ๊ฒ ๊ฐ์์"๋ผ๋ ํ์์ค์ ์ง๊ฐ์, ํต๊ณ์ ์ผ๋ก ๊ฒ์ฆ๋ ์ฌ์ค๋ก ๋ฐ๊พธ๋ ๋ฐฉ๋ฒ์ด ์์ต๋๋ค.
์ผํ๋ชฐ ๊ฐ๋ฐ์์ ๊ธฐํ์๊ฐ ํจ๊ป ์์์ผ ํ A/B ํ
์คํธ์ ์๋ฆฌ, ์ค๊ณ, ๊ตฌํ, ํจ์ , ๊ทธ๋ฆฌ๊ณ ์์ฌ๊ฒฐ์ ๊น์ง ํ ๋ฒ์ ์ ๋ฆฌํ์ต๋๋ค.
1. A/B ํ ์คํธ๋ ๋ฌด์์ด๊ณ , ์ ์ผํ๋ชฐ์์ ํนํ ๊ฐ๋ ฅํ๊ฐ ๐
A/B ํ
์คํธ๋ ์จ๋ผ์ธ ํต์ ์คํ(Online Controlled Experiment)์ ๊ฐ์ฅ ๋จ์ํ ํํ์
๋๋ค. ๊ฐ์ ์๊ธฐ์ ๋ค์ด์จ ์ฌ์ฉ์๋ฅผ ๋ฌด์์๋ก ๋ ๊ทธ๋ฃน์ผ๋ก ๋๋๊ณ , ํ ๊ทธ๋ฃน์๋ ๊ธฐ์กด ํ๋ฉด(๋์กฐ๊ตฐ, Control)์, ๋ค๋ฅธ ๊ทธ๋ฃน์๋ ๋ฐ๊พผ ํ๋ฉด(์คํ๊ตฐ, Treatment)์ ๋ณด์ฌ์ค ๋ค ๊ตฌ๋งค ์ ํ์จยท๊ฐ๋จ๊ฐ ๊ฐ์ ์งํ๋ฅผ ๋น๊ตํฉ๋๋ค.
ํต์ฌ์ "๋ฌด์์ ๋ฐฐ์ "์
๋๋ค. ๋ฌด์์๋ก ๋๋๋ฉด ์์ผ, ๋ ์จ, ๊ฒฝ์์ฌ ์ธ์ผ, ์ ์
์ฑ๋ ๊ฐ์ ์ธ๋ถ ์์ธ์ด ๋ ๊ทธ๋ฃน์ ๋๊ฐ์ด ์์ด๊ธฐ ๋๋ฌธ์, ๊ฒฐ๊ณผ์ ์ฐจ์ด๋ฅผ ์ค์ง ํ๋ฉด์ ์ฐจ์ด๋ก ๋๋ฆด ์ ์๊ฒ ๋ฉ๋๋ค. ์ด๊ฒ์ด ์๊ด๊ด๊ณ๊ฐ ์๋ ์ธ๊ณผ๊ด๊ณ๋ฅผ ๋งํ ์ ์๋ ๊ทผ๊ฑฐ์
๋๋ค.
์ผํ๋ชฐ์ A/B ํ ์คํธ๊ฐ ๋น๋๋ ๋ํ์ ์ธ ๋ฌด๋์ ๋๋ค. ์ด์ ๋ ์ธ ๊ฐ์ง์ ๋๋ค.
์ฆ, A/B ํ ์คํธ๋ "์ข์ ์์ด๋์ด๋ฅผ ์ฐพ๋ ๋๊ตฌ"์ด๊ธฐ ์ด์ ์ "๋์ ์์ด๋์ด๊ฐ ๋ฐฐํฌ๋๋ ๊ฒ์ ๋ง๋ ์์ ์ฅ์น"์ด๊ธฐ๋ ํฉ๋๋ค. ๋์์ธ ๋ฆฌ๋ด์ผ์ ํ๋๋ฐ ๋งค์ถ์ด ๋จ์ด์ก๋ค๋ฉด, ๊ทธ ์์ธ์ด ๋ฆฌ๋ด์ผ์ธ์ง ์์ฆ ํ์ธ์ง ์ ๊ธธ์ด ์์ต๋๋ค. ์คํ์ ๊ฑฐ์ณค๋ค๋ฉด ๋ต์ ๋ช ํํฉ๋๋ค.
2. ์ผํ๋ชฐ ํผ๋๊ณผ ์งํ ์ค๊ณ: ๋ฌด์์ ์ด ๊ฒ์ธ๊ฐ ๐ฏ
A/B ํ ์คํธ์์ ๊ฐ์ฅ ๋จผ์ , ๊ทธ๋ฆฌ๊ณ ๊ฐ์ฅ ์ ์คํ๊ฒ ์ ํด์ผ ํ๋ ๊ฒ์ ํ๋ฉด ๋์์ธ์ด ์๋๋ผ ์งํ(Metric)์ ๋๋ค. ์งํ๋ฅผ ์๋ชป ๊ณ ๋ฅด๋ฉด ์คํ์ ์๋ฌด๋ฆฌ ์ ๊ตํ๊ฒ ํด๋ ์๋ฑํ ๊ฒฐ๋ก ์ ๋๋ฌํฉ๋๋ค.
ํผ๋์ ๊ฐ ๋จ๊ณ๋ ์๋ก ๋ค๋ฅธ UI ๋ฌธ์ ๋ฅผ ๊ฐ์ง๊ณ ์๊ณ , ๊ฐ๊ฐ์ ๋ง๋ ์งํ๊ฐ ํ์ํฉ๋๋ค. ์ํ ์์ธ ํ์ด์ง์ ์ด๋ฏธ์ง ๊ฐค๋ฌ๋ฆฌ๋ฅผ ๋ฐ๊ฟจ๋ค๋ฉด 1์ฐจ์ ์ผ๋ก "์ฅ๋ฐ๊ตฌ๋ ๋ด๊ธฐ์จ"์ด ์์ง์ผ ๊ฒ์ด๊ณ , ๊ฒฐ์ ํ์ด์ง์ ์ ๋ ฅ ํผ์ ์ค์๋ค๋ฉด "๊ฒฐ์ ์์ ๋๋น ์๋ฃ์จ"์ด ์์ง์ผ ๊ฒ์ ๋๋ค.
์งํ์ ์ธ ๊ฐ์ง ์ธต์
| ๊ตฌ๋ถ | ์ญํ | ์ผํ๋ชฐ ์์ |
|---|---|---|
| ๋ชฉํ ์งํ (OEC, North Star) | ์คํ์ ์ฑํจ๋ฅผ ์ต์ข ํ๋จํ๋ ๋จ ํ๋์ ๊ธฐ์ค | ๋ฐฉ๋ฌธ์๋น ๋งค์ถ(RPV), ๋ฐฉ๋ฌธ์๋น ๊ตฌ๋งค ์ ํ์จ |
| ๋ณด์กฐยท์ง๋จ ์งํ | ์ ๊ฒฐ๊ณผ๊ฐ ๊ทธ๋ ๊ฒ ๋์๋์ง ์ค๋ช | ์ฅ๋ฐ๊ตฌ๋ ๋ด๊ธฐ์จ, ์์ธ ํ์ด์ง ์คํฌ๋กค ๊น์ด, ์ฟ ํฐ ์ฌ์ฉ๋ฅ |
| ๊ฐ๋๋ ์ผ ์งํ | ์ ๋ ๋๋น ์ง๋ฉด ์ ๋๋ ์์ ์ | ํ์ด์ง ๋ก๋ฉ ์๊ฐ, ์ค๋ฅ์จ, ๋ฐํยท์ทจ์์จ, ๊ณ ๊ฐ์ผํฐ ๋ฌธ์๋ |
์ฝํ๋น ๋ฑ์ ์ฌ๋ฌ ์งํ๋ฅผ ํ๋๋ก ๋ฌถ์ OEC(Overall Evaluation Criterion, ์ข ํฉ ํ๊ฐ ๊ธฐ์ค)๋ฅผ ๋ฏธ๋ฆฌ ์ ํด๋๋ผ๊ณ ๊ฐ์กฐํฉ๋๋ค. ์คํ์ด ๋๋ ๋ค "์ด๋ค ์งํ๋ ์ค๋ฅด๊ณ ์ด๋ค ์งํ๋ ๋ด๋ ธ๋๋ฐ, ๊ทธ๋์ ๋ฐฐํฌํด์ผ ํ๋?"๋ผ๋ ํผ๋์ ๋ง๊ธฐ ์ํด์์ ๋๋ค.
๋น์จ ์งํ vs ํ๊ท ์งํ
์ ํ์จ์ฒ๋ผ "ํ๋ค/์ ํ๋ค"๋ก ๋๋๋ ์ดํญ(binary) ์งํ๋ ๋ถ์ฐ ๊ณ์ฐ์ด ๋จ์ํฉ๋๋ค. ๋ฐ๋ฉด ๊ฐ๋จ๊ฐ(AOV)๋ ๋ฐฉ๋ฌธ์๋น ๋งค์ถ(RPV)์ฒ๋ผ ๊ธ์ก์ ๋ค๋ฃจ๋ ์ฐ์ํ ์งํ๋ ์์์ ๋๋ ๊ตฌ๋งค ๊ณ ๊ฐ(์ด๋ฅธ๋ฐ '๊ณ ๋')์ด ํ๊ท ์ ํฌ๊ฒ ํ๋ค์ด ๋ถ์ฐ์ด ๋งค์ฐ ์ปค์ง๋๋ค. ๊ทธ๋์ ๋งค์ถ ์งํ๋ก ์คํํ ๋๋ ๋ค์ ๊ธฐ๋ฒ์ด ์์ฃผ ์ฐ์ ๋๋ค.
3. ์ข์ ๊ฐ์ค์ด ์ข์ ์คํ์ ๋ง๋ ๋ค ๐ก
"๋ฒํผ ์์ ๋ฐ๊ฟ๋ณด์"๋ ๊ฐ์ค์ด ์๋๋ผ ์์ด๋์ด์ ๋๋ค. ๊ฐ์ค์ ๊ด์ฐฐ โ ์์ธ ์ถ์ โ ๋ณ๊ฒฝ โ ๊ธฐ๋ ๊ฒฐ๊ณผ์ ๊ตฌ์กฐ๋ฅผ ๊ฐ์ถฐ์ผ ํ๋ฉฐ, ๊ทธ๋์ผ ๊ฒฐ๊ณผ๊ฐ ์คํจ๋ก ๋์๋ ๋ฌด์ธ๊ฐ๋ฅผ ๋ฐฐ์ธ ์ ์์ต๋๋ค.
[์์ธ ์ถ์ ] ๊ตฌ๋งค ๋ฒํผ๊ณผ ์ต์ ์ ํ์ด ํ๋ฉด ํ๋จ ๊น์์ด ์์ด ๊ตฌ๋งค ์๋๊ฐ ์์ด๋ ํ๋ ๋น์ฉ์ด ํฌ๋ค.
[๋ณ๊ฒฝ] ํ๋ฉด ํ๋จ์ ๊ณ ์ (sticky)๋ ๊ตฌ๋งค ๋ฐ๋ฅผ ์ถ๊ฐํ๊ณ , ๋๋ฅด๋ฉด ์ต์ ๋ฐํ ์ํธ๋ฅผ ๋์ด๋ค.
[๊ธฐ๋ ๊ฒฐ๊ณผ] ๋ชจ๋ฐ์ผ ๋ฐฉ๋ฌธ์๋น ์ฅ๋ฐ๊ตฌ๋ ๋ด๊ธฐ์จ๊ณผ ๊ตฌ๋งค ์ ํ์จ์ด ์์นํ๋ฉฐ, ๋ก๋ฉ ์๊ฐ๊ณผ ์ค๋ฅ์จ์ ์ ํ๋์ง ์๋๋ค.
๊ฐ์ค์ ์ฌ๋ฃ๋ ์ด๋์ ์ป์๊น
4. ํต๊ณ์ ๋ผ๋: ์ ์์ฑ, ๊ฒ์ ๋ ฅ, ํ๋ณธ ํฌ๊ธฐ ๐
A/B ํ ์คํธ์ ๊ฒฐ๊ณผ๊ฐ "์ง์ง ์ฐจ์ด"์ธ์ง "์ฐ์ฐํ ํ๋ค๋ฆผ"์ธ์ง ํ๋ณํ๋ ๊ฒ์ด ํต๊ณ์ ์ญํ ์ ๋๋ค. ๊ฐ๋ฐ์ ์ ์ฅ์์ ๊ผญ ์์์ผ ํ ๊ฐ๋ ๋ง ์ ํํ๊ฒ ์ง์ด๋ณด๊ฒ ์ต๋๋ค.
๊ท๋ฌด๊ฐ์ค๊ณผ ๋ ๊ฐ์ง ์ค๋ฅ
๊ธฐ๋ณธ ์ถ๋ฐ์ ์ ๊ท๋ฌด๊ฐ์ค(Hโ) "A์ B์ ์ง์ง ์ ํ์จ์ ๊ฐ๋ค"์ ๋๋ค. ๋ฐ์ดํฐ๊ฐ ์ด ๊ฐ์ ๊ณผ ๋๋ฌด ์ด๊ธ๋๋ฉด ๊ท๋ฌด๊ฐ์ค์ ๊ธฐ๊ฐํ๊ณ "์ฐจ์ด๊ฐ ์๋ค"๊ณ ๊ฒฐ๋ก ๋ด๋ฆฝ๋๋ค. ์ฌ๊ธฐ์ ๋ ์ข ๋ฅ์ ์ค์๊ฐ ์๊น๋๋ค.
์ค์ ๋ก๋ ํจ๊ณผ๊ฐ ์๋๋ฐ "B๊ฐ ์ด๊ฒผ๋ค"๊ณ ํ๋จํ๋ ์ค์. ๊ด๋ก์ ์ผ๋ก ฮฑ = 0.05, ์ฆ ํจ๊ณผ๊ฐ ์์ ๋ ์๋ชป ์น๋ฆฌ๋ฅผ ์ ์ธํ ํ๋ฅ ์ 5%๋ก ๋ฌถ์ต๋๋ค.
์ค์ ๋ก ํจ๊ณผ๊ฐ ์๋๋ฐ "์ฐจ์ด ์์"์ผ๋ก ๋์น๋ ์ค์. ๊ฒ์ ๋ ฅ(Power) = 1 โ ฮฒ์ด๋ฉฐ ๊ด๋ก์ ์ผ๋ก 80%๋ฅผ ๋ชฉํ๋ก ํฉ๋๋ค.
์ ๊ทธ๋ฆผ์ฒ๋ผ ๋ ๋ถํฌ๊ฐ ๊ฒน์น๋ ์ ๋๊ฐ ํด์๋ก ๊ตฌ๋ถ์ด ์ด๋ ต์ต๋๋ค. ๊ฒน์นจ์ ์ค์ด๋ ๋ฐฉ๋ฒ์ ๋ ๊ฐ์ง๋ฟ์ ๋๋ค. ํจ๊ณผ(ฮด)๊ฐ ํฌ๊ฑฐ๋, ํ๋ณธ์ ๋๋ ค ๋ถํฌ์ ํญ(ํ์ค์ค์ฐจ)์ ์ขํ๊ฑฐ๋. ๊ทธ๋์ ํ๋ณธ ํฌ๊ธฐ ๊ณ์ฐ์ด ์คํ ์ค๊ณ์ ํต์ฌ์ด ๋ฉ๋๋ค.
p-๊ฐ์ ์ ํํ ์ดํดํ๊ธฐ
p-๊ฐ์ "๊ท๋ฌด๊ฐ์ค์ด ์ฐธ์ด๋ผ๊ณ ๊ฐ์ ํ์ ๋, ์ง๊ธ ๊ด์ธก๋ ๊ฒ๋งํผ ํน์ ๊ทธ๋ณด๋ค ๊ทน๋จ์ ์ธ ์ฐจ์ด๊ฐ ๋์ฌ ํ๋ฅ "์ ๋๋ค. ํํ ์คํดํ๋ ๊ฒ์ฒ๋ผ "B๊ฐ ๋ ์ข์ ํ๋ฅ "์ด๋ "๊ฐ์ค์ด ํ๋ ธ์ ํ๋ฅ "์ด ์๋๋๋ค. p = 0.03์ด๋ผ๋ ๊ฒ์ "ํจ๊ณผ๊ฐ ์ ๋ง ์๋ค๋ฉด ์ด๋ฐ ๊ฒฐ๊ณผ๋ ๊ฝค ๋๋ฌผ๋ค"๋ ๋ป์ผ ๋ฟ, ํจ๊ณผ์ ํฌ๊ธฐ๋ ๋น์ฆ๋์ค ๊ฐ์น๋ฅผ ๋งํด์ฃผ์ง ์์ต๋๋ค. ๊ทธ๋์ ๊ฒฐ๊ณผ ๋ณด๊ณ ์๋ p-๊ฐ๊ณผ ํจ๊ป ๋ฐ๋์ ์ ๋ขฐ๊ตฌ๊ฐ์ ๋ถ์ ๋๋ค. "์ ํ์จ +4.1% (95% ์ ๋ขฐ๊ตฌ๊ฐ +0.6% ~ +7.6%)"์ฒ๋ผ ๋ง์ด์ฃ .
์ต์ ๊ฐ์ง ํจ๊ณผ(MDE)์ ํ๋ณธ ํฌ๊ธฐ
MDE(Minimum Detectable Effect)๋ "์ด ์ ๋ ์ด์์ ์ฐจ์ด๋ ๋์น์ง ์๊ฒ ๋ค"๊ณ ๋ฏธ๋ฆฌ ์ ํ๋ ๊ธฐ์ค์ ๋๋ค. MDE๋ฅผ ์๊ฒ ์ก์์๋ก ํ์ํ ํ๋ณธ์ ์ ๊ณฑ์ ๋ฐ๋น๋กํด ๊ธ๊ฒฉํ ๋์ด๋ฉ๋๋ค. ์ดํญ ์งํ์์ ๊ทธ๋ฃน๋น ํ๋ณธ ํฌ๊ธฐ์ ๊ทผ์ฌ์์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
ฮฑ = 0.05(์์ธก)์ด๋ฉด z = 1.96, ๊ฒ์ ๋ ฅ 80%์ด๋ฉด z = 0.84๋ก, ๋ ๊ฐ์ ํฉ์ ์ ๊ณฑ์ ์ฝ 7.84์ ๋๋ค. ์ค์ ๋ก ๊ณ์ฐํด ๋ณด๊ฒ ์ต๋๋ค.
ยท pโ(1โpโ) = 0.03 ร 0.97 = 0.0291
ยท pโ(1โpโ) = 0.033 ร 0.967 โ 0.0319
ยท ํฉ โ 0.0610, ์ฐจ์ด์ ์ ๊ณฑ = 0.003ยฒ = 0.000009
ยท n โ 7.84 ร 0.0610 รท 0.000009 โ ์ฝ 53,000๋ช (๊ทธ๋ฃน๋น)
์ฆ AยทB ํฉ์ณ ์ฝ 10๋ง 6์ฒ ๋ช ์ด ํ์ํฉ๋๋ค. ํ๋ฃจ ์คํ ๋์ ๋ฐฉ๋ฌธ์๊ฐ 5์ฒ ๋ช ์ด๋ผ๋ฉด 3์ฃผ ์ ๋๊ฐ ๊ฑธ๋ฆฌ๋ ์ ์ ๋๋ค. ๋ง์ฝ ์๋ 5% ๊ฐ์ ์ ๊ฐ์งํ๋ ค ํ๋ฉด ์ฐจ์ด๊ฐ ์ ๋ฐ์ด ๋๋ฏ๋ก ํ์ ํ๋ณธ์ ๋๋ต 4๋ฐฐ๋ก ๋์ด๋ฉ๋๋ค.
์ด ๊ณ์ฐ์ด ์ฃผ๋ ํ์ค์ ์ธ ๋ฉ์์ง๋ ๋ถ๋ช ํฉ๋๋ค. ์ ํ์จ์ด ๋ฎ๊ณ ํธ๋ํฝ์ด ์ ์ ์ผํ๋ชฐ์ผ์๋ก ๋ฏธ์ธํ UI ๋ณ๊ฒฝ์ ๊ฒ์ฆํ๊ธฐ ์ด๋ ต๋ค๋ ๊ฒ์ ๋๋ค. ์ด๊ฒ์ด ์์ "์์ ๋ชฐ์ ํฐ ๋ณํ๋ฅผ ํ ์คํธํ๋ผ"๊ณ ๊ถํ ์ด์ ์ ๋๋ค.
์คํ ๊ธฐ๊ฐ ์ ํ๊ธฐ
๋น๋์ฃผ์ vs ๋ฒ ์ด์ง์
์ต๊ทผ ๋ง์ ์์ฉ ๋๊ตฌ๊ฐ ๋ฒ ์ด์ง์ ๋ฐฉ์์ผ๋ก "B๊ฐ A๋ณด๋ค ๋์ ํ๋ฅ 95%" ๊ฐ์ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์ฌ์ค๋๋ค. ์ง๊ด์ ์ผ๋ก ์ดํดํ๊ธฐ ์ฝ๋ค๋ ์ฅ์ ์ด ์์ง๋ง, ์ฌ์ ๋ถํฌ ์ค์ ๊ณผ ์ค๋จ ๊ท์น์ ๋ฐ๋ผ ๊ฒฐ๊ณผ๊ฐ ๋ฌ๋ผ์ง ์ ์๊ณ , "ํ๋ฅ 95%"๊ฐ ๋ง๋ฒ์ฒ๋ผ ์ฟ๋ณด๊ธฐ(peeking) ๋ฌธ์ ๋ฅผ ํด๊ฒฐํด ์ฃผ์ง๋ ์์ต๋๋ค. ์ด๋ค ๋ฐฉ์์ด๋ ์ค์ํ ๊ฒ์ ํ์ ๊ธฐ์ค์ ์คํ ์์ ์ ์ ๊ณ ์ ํ๋ ๊ฒ์ ๋๋ค.
5. ์คํ์ ๋ง์น๋ ๋ํ ํจ์ ๋ค โ ๏ธ
A/B ํ ์คํธ๋ "๋๋ฆฌ๊ธฐ๋ ์ฝ์ง๋ง, ์ ๋๋ก ๋๋ฆฌ๊ธฐ๋ ์ด๋ ต๋ค"๋ ๋ง์ ๋ฃ์ต๋๋ค. ํ์ ์์ ๋ฐ๋ณต์ ์ผ๋ก ๋ฑ์ฅํ๋ ํจ์ ์ ์ ๋ฆฌํ์ต๋๋ค.
โ ์ฟ๋ณด๊ธฐ(Peeking)์ ์กฐ๊ธฐ ์ข ๋ฃ
๋งค์ผ ๋์๋ณด๋๋ฅผ ๋ณด๋ค๊ฐ p-๊ฐ์ด 0.05 ์๋๋ก ๋ด๋ ค๊ฐ ์๊ฐ "์ด๊ฒผ๋ค!" ํ๊ณ ์คํ์ ๋ฉ์ถ๋ ๊ฒ. ๊ฐ์ฅ ํํ๊ณ ๊ฐ์ฅ ์ํํ ์ค์์ ๋๋ค. p-๊ฐ์ ์คํ ๋์ค ํฌ๊ฒ ์ถ๋ ์ด๊ธฐ ๋๋ฌธ์ ์ฌ๋ฌ ๋ฒ ํ์ธํ๋ฉฐ ์ฒ์ ์ ์ํด์ง ์๊ฐ ๋ฉ์ถ๋ฉด, ์ค์ 1์ข ์ค๋ฅ์จ์ ์ค์ ํ 5%๋ณด๋ค ํจ์ฌ ๋์์ง๋๋ค.
ยท ์ค๊ฐ์ ๊ผญ ๋ด์ผ ํ๋ค๋ฉด ์์ฐจ ๊ฒ์ (Sequential Testing) ๋ฐฉ์์ ์ฌ์ฉํ๋ค. O'Brien-Fleming ๊ฐ์ ์ํ ์๋น ํจ์๋ ํญ์ ์ ํจํ(always-valid) p-๊ฐ ๊ธฐ๋ฒ์ ์ค๊ฐ ํ์ธ์ ํ์ฉํ๋ฉด์๋ ์ค๋ฅ์จ์ ํต์ ํฉ๋๋ค.
ยท ๋จ, ๊ฐ๋๋ ์ผ ์งํ์ ์ฌ๊ฐํ ์ ํ(๊ฒฐ์ ์ค๋ฅ ๊ธ์ฆ ๋ฑ)๋ ์ธ์ ๋ ์คํ์ ์ค๋จํ ์ฌ์ ์ ๋๋ค.
โก ํ๋ณธ ๋น์จ ๋ถ์ผ์น(SRM)
50:50์ผ๋ก ๋๋ด๋๋ฐ ์ค์ ์ ์ ์ด 50,000๋ช ๋ 48,800๋ช ์ด๋ผ๋ฉด "๊ทธ ์ ๋์ผ ์ฐ์ฐ์ด์ง"๋ผ๊ณ ๋๊ธฐ๊ธฐ ์ฝ์ต๋๋ค. ํ์ง๋ง ์นด์ด์ ๊ณฑ ์ ํฉ๋ ๊ฒ์ ์ ํด๋ณด๋ฉด ๋ค๋ฆ ๋๋ค.
์ด ์ ๋ ๋ถ์ผ์น๋ ์ฐ์ฐ์ผ๋ก ๋ณด๊ธฐ ์ด๋ ต๊ณ , ๋ฐฐ์ ์ด๋ ๋ก๊น ์ด๋๊ฐ๊ฐ ๊ณ ์ฅ ๋ฌ๋ค๋ ์ ํธ์ ๋๋ค. ํํ ์์ธ์ B์์ ๋ฌด๊ฑฐ์ด ์คํฌ๋ฆฝํธ ๋๋ฌธ์ ํ์ด์ง๊ฐ ๋ฆ๊ฒ ๋ ์ ๋ก๊ทธ๊ฐ ์ฐํ๊ธฐ ์ ์ ์ฌ์ฉ์๊ฐ ์ดํํ๋ ๊ฒฝ์ฐ, ๋ด ํํฐ๋ง์ด ํ์ชฝ์๋ง ๋ค๋ฅด๊ฒ ์๋ํ๋ ๊ฒฝ์ฐ, ๋ฆฌ๋ค์ด๋ ํธ ๋ฐฉ์ ํ ์คํธ์์ ํ์ชฝ๋ง ์ถ๊ฐ ๋ฆฌ๋ค์ด๋ ํธ๊ฐ ๋ฐ์ํ๋ ๊ฒฝ์ฐ ๋ฑ์ ๋๋ค. SRM์ด ๋ฐ๊ฒฌ๋๋ฉด ๊ฒฐ๊ณผ๋ฅผ ํด์ํ์ง ๋ง๊ณ ์์ธ๋ถํฐ ์ฐพ์์ผ ํฉ๋๋ค.
โข ๋ค์ค ๋น๊ต ๋ฌธ์
์งํ 20๊ฐ๋ฅผ ๋์์ ๋ณด๋ฉด, ์๋ฌด ํจ๊ณผ๊ฐ ์์ด๋ ฮฑ = 0.05 ๊ธฐ์ค์์ ํ๊ท 1๊ฐ ์ ๋๋ ์ฐ์ฐํ "์ ์"ํ๊ฒ ๋์ต๋๋ค. ์ธ๊ทธ๋จผํธ(๊ธฐ๊ธฐยท์ฑ๋ณยท์ง์ญ)๋ฅผ ์๊ฒ ์ชผ๊ฐ ๋ณผ ๋๋ ๋ง์ฐฌ๊ฐ์ง์ ๋๋ค. ๋ชฉํ ์งํ๋ฅผ ํ๋๋ก ์ ํ๊ณ , ๋๋จธ์ง๋ ํ์์ฉ์ผ๋ก ํด์ํ๊ฑฐ๋ ๋ณธํ๋ก๋ยท๋ฒค์ผ๋ฏธ๋-ํธํ๋ฒ ๋ฅดํฌ(FDR) ๊ฐ์ ๋ณด์ ์ ์ ์ฉํฉ๋๋ค. ์ธ๊ทธ๋จผํธ์์ ๋ฐ๊ฒฌํ ํจ๊ณผ๋ ์ ์คํ์ผ๋ก ์ฌ๊ฒ์ฆํ๋ ๊ฒ์ด ์์น์ ๋๋ค.
โฃ ์ ๊ธฐ ํจ๊ณผ์ ์ด๋ ํจ๊ณผ
์๋ก์ด ๋์์ธ์ด๋ผ ๊ธฐ์กด ์ฌ์ฉ์๊ฐ ํธ๊ธฐ์ฌ์ ๋ ํด๋ฆญํ๋ ํ์. ์ด๋ฐ ์์น๊ฐ ๋ถํ๋ ค์ก๋ค๊ฐ ์๊ฐ์ด ์ง๋๋ฉฐ ์ฌ๋ผ์ง๋๋ค.
์ต์ํ ํ๋ฉด์ด ๋ฐ๋์ด ๊ธฐ์กด ์ฌ์ฉ์๊ฐ ์ฒ์์ ํค๋งค๋ค ์ ์ ํ ์ฑ๊ณผ๊ฐ ์ค๋ฅด๋ ํ์. ์ด๋ฐ ๊ฒฐ๊ณผ๊ฐ ๊ณผ์ํ๊ฐ๋ฉ๋๋ค.
๋ ํจ๊ณผ ๋ชจ๋ ๋ ์ง๋ณ ์ฒ๋ฆฌ ํจ๊ณผ ์ถ์ด๋ฅผ ๊ทธ๋ ค๋ณด๊ณ , ์ ๊ท ๋ฐฉ๋ฌธ์์ ์ฌ๋ฐฉ๋ฌธ์๋ฅผ ๋๋ ๋ณด๋ฉด ์ง๋จํ ์ ์์ต๋๋ค. ์ ๊ท ๋ฐฉ๋ฌธ์์๊ฒ๋ ๋น์ทํ ํจ๊ณผ๊ฐ ์๋ค๋ฉด ์ ๊ธฐ ํจ๊ณผ์ผ ๊ฐ๋ฅ์ฑ์ด ๋ฎ์ต๋๋ค.
โค ๊ฐ์ญ๊ณผ ์ค์ผ
ํ ์ฌ์ฉ์๊ฐ PC์์๋ A, ๋ชจ๋ฐ์ผ ์ฑ์์๋ B๋ฅผ ๋ณธ๋ค๋ฉด ๊ฒฐ๊ณผ๊ฐ ์์ ๋๋ค. ๋ก๊ทธ์ธ ๊ธฐ๋ฐ ์ฌ์ฉ์ ID๋ก ๋ฐฐ์ ํ๋ฉด ๊ต์ฐจ ๊ธฐ๊ธฐ ์ผ๊ด์ฑ์ ๋์ผ ์ ์์ต๋๋ค. ๋ ์ฌ๊ณ ๊ฐ ํ์ ๋ ์ํ์ ๋ ธ์ถ ์์๋ฅผ ๋ฐ๊พธ๋ ์คํ์ฒ๋ผ ๋ ๊ทธ๋ฃน์ด ๊ฐ์ ์์์ ๋๊ณ ๊ฒฝ์ํ๋ ๊ฒฝ์ฐ(์: B๊ทธ๋ฃน์ด ์ธ๊ธฐ ์ํ์ ๋จผ์ ์ฌ๋ฒ๋ ค A๊ทธ๋ฃน์ ํ์ ์ ๋ด)์๋ ๊ฒฐ๊ณผ๊ฐ ์๊ณก๋ ์ ์์ต๋๋ค. ๊ฐ๊ฒฉยท์ฌ๊ณ ยท๋ง์ผํ๋ ์ด์ค ๋งค์นญ ์คํ์ ์ด๋ฐ ๊ฐ์ญ ๋ฌธ์ ๋ฅผ ํนํ ์ ์คํ ๋ค๋ค์ผ ํฉ๋๋ค.
โฅ ์์กด ํธํฅ๊ณผ ํธ๋ฆฌ๊ฑฐ ๋๋ฝ
๊ฒฐ์ ํ์ด์ง์ ๋ณ๊ฒฝ์ ํ ์คํธํ๋๋ฐ ๋ชจ๋ ๋ฐฉ๋ฌธ์๋ฅผ ๋ถ๋ชจ๋ก ๋ฃ์ผ๋ฉด, ๊ฒฐ์ ํ์ด์ง์ ์ค์ง๋ ์์ ๋๋ค์ ์ฌ์ฉ์๊ฐ "ํจ๊ณผ 0"์ผ๋ก ์์ฌ ์ ํธ๊ฐ ํฌ์๋ฉ๋๋ค. ์ค์ ๋ก ๋ณ๊ฒฝ ์ฌํญ์ ๋ ธ์ถ๋ ์ฌ์ฉ์๋ง ๋ถ์ํ๋ ํธ๋ฆฌ๊ฑฐ ๋ถ์(Triggered Analysis)์ ์ ์ฉํ๋ฉด ๊ฒ์ ๋ ฅ์ด ๋์์ง๋๋ค. ๋จ, ํธ๋ฆฌ๊ฑฐ ์กฐ๊ฑด์ A์ B์์ ๋์ผํ๊ฒ ํ์ ๋์ด์ผ ํฉ๋๋ค(A์์๋ "B์๋ค๋ฉด ๋ฐ๋์์ ์ง์ "์ ๋๋ฌํ ์ฌ์ฉ์๋ฅผ ๊ธฐ๋ก).
6. ๊ฐ๋ฐ์๋ฅผ ์ํ ๊ตฌํ ์ํคํ ์ฒ ๐ ๏ธ
์ด์ ์ผํ๋ชฐ ๊ฐ๋ฐ ๊ด์ ์์ ์คํ์ ์ค์ ๋ก ์ด๋ป๊ฒ ๊ตฌํํ๋์ง ์ดํด๋ณด๊ฒ ์ต๋๋ค. ๊ตฌํ ๋ฐฉ์์ ํฌ๊ฒ ํด๋ผ์ด์ธํธ ์ฌ์ด๋์ ์๋ฒ ์ฌ์ด๋๋ก ๋๋ฉ๋๋ค.
| ํญ๋ชฉ | ํด๋ผ์ด์ธํธ ์ฌ์ด๋ | ์๋ฒ ์ฌ์ด๋ |
|---|---|---|
| ์๋ ๋ฐฉ์ | ํ์ด์ง ๋ก๋ ํ JS๊ฐ DOM์ ์์ | ์๋ฒ๊ฐ ๋ฐฐ์ ํ ํด๋น ๋ฒ์ ์ ํ๋ฉดยท๋ฐ์ดํฐ๋ฅผ ๋ ๋๋ง |
| ์ฅ์ | ๋น์ฃผ์ผ ์๋ํฐ๋ก ๋น๊ฐ๋ฐ์๋ ๋น ๋ฅด๊ฒ ์คํ ๊ฐ๋ฅ | ๊น๋นก์ ์์, ์ฑ๋ฅ ์ฐ์, ๊ฐ๊ฒฉยท๊ฒ์ ์๊ณ ๋ฆฌ์ฆยท์ถ์ฒ ๋ก์ง๊น์ง ์คํ ๊ฐ๋ฅ |
| ๋จ์ | ์๋ณธ์ด ์ ๊น ๋ณด์๋ค ๋ฐ๋๋ ๊น๋นก์(FOOC), ์คํฌ๋ฆฝํธ ๋ก๋ฉ ์ง์ฐ, ๊ด๊ณ ์ฐจ๋จ๊ธฐ ์ํฅ | ๊ฐ๋ฐยท๋ฐฐํฌ ๊ณต์๊ฐ ํ์, ์คํ ์ฝ๋ ๊ด๋ฆฌ ๋ถ๋ด |
| ์ ํฉํ ์คํ | ๋ฌธ๊ตฌ, ์์, ๋ฐฐ๋, ๊ฐ๋จํ ๋ ์ด์์ | ๊ฒฐ์ ํ๋ก์ฐ, ๋ฐฐ์ก๋น ์ ์ฑ ๋ ธ์ถ, ์ถ์ฒยท์ ๋ ฌ, ์ฑ ํ๋ฉด |
๊ฒฐ์ ๋ก ์ ํด์ ๊ธฐ๋ฐ ๋ฐฐ์
๋ฐฐ์ ์ ๋งค๋ฒ ๋๋ค ํจ์๋ฅผ ๋๋ฆฌ๋ ๊ฒ์ด ์๋๋ผ, ์ฌ์ฉ์ ID์ ์คํ ํค๋ฅผ ํด์ํด์ ๋ฒํท์ ์ ํ๋ ๋ฐฉ์์ด ํ์ค์ ๋๋ค. ๊ฐ์ ์ฌ์ฉ์๋ ์ธ์ ์ ์ํด๋ ๊ฐ์ ๊ทธ๋ฃน์ ๋ค์ด๊ฐ๊ณ (์ผ๊ด์ฑ), ๋ณ๋์ ๋ฐฐ์ ํ ์ด๋ธ์ ์ ์ฅํ์ง ์์๋ ๋๋ฉฐ, ์คํ๋ง๋ค ํค๊ฐ ๋ค๋ฅด๋ฏ๋ก ์คํ ๊ฐ ๋ฐฐ์ ์ด ์๋ก ๋ ๋ฆฝ์ ์ด ๋ฉ๋๋ค.
// Node.js ์์: ๊ฒฐ์ ๋ก ์ ๋ฒํท ๋ฐฐ์
const crypto = require('crypto');
function getBucket(userId, experimentKey) {
const hash = crypto
.createHash('md5')
.update(`${experimentKey}:${userId}`)
.digest();
// ์ 4๋ฐ์ดํธ๋ฅผ ์ ์๋ก ์ฝ์ด 0~9999 ๋ฒํท์ผ๋ก ๋ณํ
return hash.readUInt32BE(0) % 10000;
}
function assignVariant(userId, experiment) {
const bucket = getBucket(userId, experiment.key);
// ํธ๋ํฝ ๋น์จ: ์คํ ๋์ 20%๋ง ์ฐธ์ฌ
if (bucket >= experiment.trafficPercent * 100) return null;
// ์ฐธ์ฌ์ ์ค ์ ๋ฐ์ฉ A/B
return (bucket % 2 === 0) ? 'control' : 'treatment';
}
const exp = { key: 'pdp_sticky_buy_bar_v1', trafficPercent: 20 };
const variant = assignVariant('user_83721', exp);
// ๋
ธ์ถ ์์ ์ ๋ฐ๋์ ์ด๋ฒคํธ ๋ก๊น
if (variant) logExposure('user_83721', exp.key, variant);
์ ์ฝ๋์์ ์คํ ํค์ ๋ฒ์ (_v1)์ ๋ถ์ธ ๋ฐ์๋ ์ด์ ๊ฐ ์์ต๋๋ค. ์คํ ๋์ค ๋ฒ๊ทธ๋ฅผ ๊ณ ์น๊ณ ๋ค์ ์์ํ ๋ ํค๋ฅผ ๋ฐ๊พธ๋ฉด ์ฌ์ฉ์๊ฐ ์๋ก ์์ฌ, ์ด์ ๋ ธ์ถ์ ์ํฅ(์ด์ ํจ๊ณผ)์ ์ค์ผ ์ ์์ต๋๋ค. ๋ํ ์ค์ ์๋น์ค์์๋ MD5 ๋์ MurmurHash์ฒ๋ผ ๋น ๋ฅธ ๋น์ํธํ ํด์๋ฅผ ์ฐ๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค. ์ค์ํ ๊ฒ์ ์ถ๋ ฅ์ด ๊ณ ๋ฅด๊ฒ ๋ถํฌํ๋ ๊ฒ์ ๋๋ค.
๋น๋ก๊ทธ์ธ ์ฌ์ฉ์ ์ฒ๋ฆฌ
์ผํ๋ชฐ ๋ฐฉ๋ฌธ์ ์๋น์๋ ๋ก๊ทธ์ธ ์์ด ๋๋ฌ๋ด ๋๋ค. ์ด ๊ฒฝ์ฐ 1st-party ์ฟ ํค๋ ๋ก์ปฌ ์คํ ๋ฆฌ์ง์ ์ต๋ช ID๋ฅผ ๋ฐ๊ธํด ๋ฐฐ์ ํค๋ก ์๋๋ค. ๋ค๋ง ์ฟ ํค ์ญ์ ยท๋ธ๋ผ์ฐ์ ๋ณ๊ฒฝ ์ ๋ค๋ฅธ ๊ทธ๋ฃน์ ๋ฐฐ์ ๋ ์ ์๊ณ , ์ฌํ๋ฆฌ์ ITP์ฒ๋ผ ๋ธ๋ผ์ฐ์ ์ ์ฑ ์ ๋ฐ๋ผ ํด๋ผ์ด์ธํธ์์ ์ค์ ํ ์ฟ ํค์ ์๋ช ์ด ์ ํ๋ ์ ์์ผ๋ฏ๋ก, ๊ฐ๋ฅํ๋ฉด ์๋ฒ์์ ๋ฐ๊ธํ๋ 1st-party ์ฟ ํค๋ฅผ ์ฌ์ฉํ๋ ๊ฒ์ด ์์ ์ ์ ๋๋ค. ๋ก๊ทธ์ธ ์์ ์ ์ต๋ช ID์ ํ์ ID๋ฅผ ์ฐ๊ฒฐํ๋ ์ ์ฑ ๋ ๋ฏธ๋ฆฌ ์ ํด๋์ธ์.
๋ ธ์ถ ๋ก๊น : ์ธ์ ๊ธฐ๋กํ ๊ฒ์ธ๊ฐ
๊น๋นก์(Flicker) ์ค์ด๊ธฐ
ํด๋ผ์ด์ธํธ ์ฌ์ด๋ ์คํ์ ๊ณ ์ง๋ณ์ธ ๊น๋นก์์ ์ฌ์ฉ์ ๊ฒฝํ์ ํด์น ๋ฟ ์๋๋ผ ์คํ ๊ฒฐ๊ณผ ์์ฒด๋ฅผ ์ค์ผ์ํต๋๋ค. B์ ์ฌ์ฉ์๋ง ์๋ณธ์ ์ ๊น ๋ณด๊ณ ๋ฐ๋๋ ํ๋ฉด์ ๊ฒฝํํ๊ธฐ ๋๋ฌธ์ ๋๋ค. ๋์ ๋ฐฉ๋ฒ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
ํผ์ฒ ํ๋๊ทธ์ ์คํ์ ๊ฒฐํฉ
ํ๋ ์ผํ๋ชฐ ๊ฐ๋ฐ์์ ์คํ์ ๋๊ฐ ํผ์ฒ ํ๋๊ทธ(Feature Flag) ์์คํ ์์์ ๋์๊ฐ๋๋ค. ์ ๊ธฐ๋ฅ์ ํ๋๊ทธ ๋ค์ ์จ๊ฒจ ๋ฐฐํฌํ๊ณ , ํ๋๊ทธ์ ํธ๋ํฝ ๋น์จ์ ์กฐ์ ํ๋ฉฐ ์คํํ ๋ค, ์ด๊ธฐ๋ฉด 100%๋ก ์ฌ๋ฆฌ๊ณ ์ง๋ฉด ๋๋ ํ๋ฆ์ ๋๋ค. ์ด ๋ฐฉ์์ ์ฅ์ ์ ๋ฐฐํฌ(Deploy)์ ์ถ์(Release)๋ฅผ ๋ถ๋ฆฌํ ์ ์๋ค๋ ์ ์ ๋๋ค. ๋ฌธ์ ๊ฐ ์๊ธฐ๋ฉด ์ฝ๋ ๋กค๋ฐฑ ์์ด ์ค์์น ํ๋๋ก ๋๋๋ฆด ์ ์์ต๋๋ค.
// React ์์: ์คํ ๋ถ๊ธฐ ์ปดํฌ๋ํธ
function ProductDetail({ product, variant }) {
return (
<>
<Gallery images={product.images} />
<OptionSelector options={product.options} />
{variant === 'treatment'
? <StickyBuyBar product={product} />
: <InlineBuyButton product={product} />}
</>
);
}
๋์ ๋ค๋ฐ ์คํ๊ณผ ๋ ์ด์ด ์ค๊ณ
์ฌ๋ฌ ํ์ด ๋์์ ์คํ์ ๋๋ฆฌ๋ฉด ๊ฐ์ ์ฌ์ฉ์๊ฐ ์ฌ๋ฌ ์คํ์ ๋์์ ์ฐธ์ฌํฉ๋๋ค. ์คํ ํค๋ณ๋ก ๋ ๋ฆฝ์ ์ธ ํด์๋ฅผ ์ฐ๋ฉด ๋์ฒด๋ก ์๋ก์ ํจ๊ณผ๊ฐ ๊ณ ๋ฅด๊ฒ ์์ฌ ๋ฌธ์ ๊ฐ ๋์ง ์์ง๋ง, ๊ฐ์ ํ๋ฉด ์์๋ฅผ ๊ฑด๋๋ฆฌ๋ ์คํ(์: ์์ธ ํ์ด์ง ๊ตฌ๋งค ๋ฒํผ ์์ ์คํ๊ณผ ๊ตฌ๋งค ๋ฒํผ ๋ฌธ๊ตฌ ์คํ)์ ์ํธ์์ฉ์ด ์๊ธธ ์ ์์ต๋๋ค. ์ด๋ฐ ์คํ๋ค์ ๊ฐ์ ๋ ์ด์ด(Layer)์ ๋ฃ์ด ์ํธ ๋ฐฐํ์ ์ผ๋ก ํธ๋ํฝ์ ๋๋๊ณ , ์๋ก ๋ฌด๊ดํ ์์ญ์ ์คํ์ ๋ค๋ฅธ ๋ ์ด์ด์์ ๊ฒน์ณ ๋๋ฆฌ๋ ๊ตฌ์กฐ๊ฐ ๊ตฌ๊ธ์ด 2010๋ ๋ ผ๋ฌธ("Overlapping Experiment Infrastructure")์์ ์๊ฐํ ๋ฐฉ์์ผ๋ก ๋๋ฆฌ ์๋ ค์ ธ ์์ต๋๋ค.
๋๊ตฌ ์ ํ
๊ตฌ๊ธ ์ตํฐ๋ง์ด์ฆ(Google Optimize)๋ 2023๋ 9์ 30์ผ ์๋น์ค๊ฐ ์ข ๋ฃ๋์ด, ๋ง์ ์ผํ๋ชฐ์ด ๋์์ ์ฐพ์์ต๋๋ค. ํ์ฌ ์ ํ์ง๋ ๋๋ต ๋ค์๊ณผ ๊ฐ์ด ๋๋ฉ๋๋ค.
| ์ ํ | ๋ํ ์์ | ํน์ง |
|---|---|---|
| ์์ฉ ์คํ ํ๋ซํผ | Optimizely, VWO, AB Tasty | ๋น์ฃผ์ผ ์๋ํฐ, ํต๊ณ ์์ง ๋ด์ฅ, ๋น์ฉ ๋ฐ์ |
| ํผ์ฒ ํ๋๊ทธ + ์คํ | LaunchDarkly, Statsig, GrowthBook(์คํ์์ค), Unleash | ์๋ฒ ์ฌ์ด๋ ์คํ์ ๊ฐํจ, ๊ฐ๋ฐ ์นํ์ |
| ์ ํ ๋ถ์ ๋๊ตฌ ์ฐ๊ณ | Amplitude Experiment, PostHog | ํ๋ ๋ถ์ ๋ฐ์ดํฐ์ ์คํ์ ํ ๊ณณ์์ |
| ์์ฒด ๊ตฌ์ถ | ํด์ ๋ฐฐ์ + ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค + ํต๊ณ ํ์ดํ๋ผ์ธ | ์์ ํ ํต์ ๊ฐ๋ฅ, ์ด๊ธฐ ๊ตฌ์ถยท๊ฒ์ฆ ๋น์ฉ ํผ |
ํธ๋ํฝ์ด ํฌ์ง ์์ ์ค์ ์ผํ๋ชฐ์ด๋ผ๋ฉด ์คํ์์ค๋ ๋ฌด๋ฃ ํ๋์ด ์๋ ๋๊ตฌ๋ก ์์ํด ๋ฐ์ดํฐ ์จ์ดํ์ฐ์ค(BigQuery ๋ฑ)์ ์ฐ๋ํ๋ ๊ตฌ์ฑ์ด ํ์ค์ ์ ๋๋ค. ์คํ ํ๋ซํผ ์ฐ๋, ์ด๋ฒคํธ ์ค๊ณ, ํต๊ณ ๋ถ์ ๋์๋ณด๋ ๊ตฌ์ถ์ด ๋ด๋ถ ์ญ๋๋ง์ผ๋ก ๋ฒ ์ฐจ๋ค๋ฉด, ์ฌ๋ฅ๋ท ๊ฐ์ ์ฌ๋ฅ ๊ฑฐ๋ ํ๋ซํผ์์ ์ด์ปค๋จธ์ค ๋ฐ์ดํฐ ๋ถ์์ด๋ ํ๋ก ํธ์๋ ๊ฐ๋ฐ ์ ๋ฌธ๊ฐ์ ๋์์ ๋ฐ๋ ๊ฒ๋ ์ํ์ฐฉ์ค๋ฅผ ์ค์ด๋ ๋ฐฉ๋ฒ์ ๋๋ค.
7. ํ์ด์ง๋ณ UI/UX ์คํ ์์ด๋์ด ์ง๋ ๐บ๏ธ
์๋๋ ์ผํ๋ชฐ์์ ์์ฃผ ๊ฒ์ฆ๋๋ ์คํ ์ฃผ์ ์ ๋๋ค. ์ด ๋ชฉ๋ก์ "์ด๋ ๊ฒ ํ๋ฉด ๋ฌด์กฐ๊ฑด ์ค๋ฅธ๋ค"๊ฐ ์๋๋ผ ํ ์คํธํด๋ณผ ๊ฐ์น๊ฐ ์๋ ํ๋ณด๋ผ๋ ์ ์ ๊ธฐ์ตํ์ธ์. ๊ฐ์ ๋ณ๊ฒฝ๋ ์ํ๊ตฐ, ๊ฐ๊ฒฉ๋, ๊ณ ๊ฐ์ธต์ ๋ฐ๋ผ ๊ฒฐ๊ณผ๊ฐ ์ ๋ฐ๋์ผ ์ ์์ต๋๋ค.
| ํ์ด์ง | ์คํ ์์ด๋์ด | ์ฃผ ๋ชฉํ ์งํ |
|---|---|---|
| ๐ ํยท๋๋ฉ | ๋ฉ์ธ ๋ฐฐ๋ ์๋ ์ฌ๋ผ์ด๋ vs ๊ณ ์ ๋ฐฐ๋, ๊ฐ์ธํ ์ถ์ฒ ์์ญ ์์น, ์นดํ ๊ณ ๋ฆฌ ์ง์ ๋ฐฉ์(์์ด์ฝ ๊ทธ๋ฆฌ๋ vs ํ ์คํธ) | ์ํ ์์ธ ์ง์ ๋ฅ , ๋ฐฉ๋ฌธ์๋น ๋งค์ถ |
| ๐ ๊ฒ์ยท๋ชฉ๋ก | ํํฐ ๋ ธ์ถ ์์น(์๋จ ์นฉ vs ์ฌ์ด๋), ์ ๋ ฌ ๊ธฐ๋ณธ๊ฐ, ๋ฌดํ ์คํฌ๋กค vs ํ์ด์ง๋ค์ด์ , ์ํ ์นด๋์ ๋ฆฌ๋ทฐ ์ยท๋ฐฐ์ก ์ ๋ณด ๋ ธ์ถ | ๊ฒ์ ํ ํด๋ฆญ๋ฅ , ๋ฌด๊ฒฐ๊ณผ์จ, ๋ชฉ๋กโ์์ธ ์ ํ |
| ๐ฆ ์ํ ์์ธ | ๋ชจ๋ฐ์ผ ๊ณ ์ ๊ตฌ๋งค ๋ฐ, ์ด๋ฏธ์ง ๊ฐค๋ฌ๋ฆฌ ํ์, ๋ฆฌ๋ทฐ ์์ฝ ์์น, ๋ฐฐ์ก ๋์ฐฉ ์์ ์ผ ํ์, ์ฌ์ด์ฆ ๊ฐ์ด๋ ๋ ธ์ถ ๋ฐฉ์ | ์ฅ๋ฐ๊ตฌ๋ ๋ด๊ธฐ์จ, ๊ตฌ๋งค ์ ํ์จ, ๋ฐํ๋ฅ (๊ฐ๋๋ ์ผ) |
| ๐ ์ฅ๋ฐ๊ตฌ๋ | ๋ฌด๋ฃ๋ฐฐ์ก๊น์ง ๋จ์ ๊ธ์ก ์๋ด, ํจ๊ป ์ฌ๋ฉด ์ข์ ์ํ ์ถ์ฒ, ํ์ ยท๊ฐ๊ฒฉ ๋ณ๋ ์๋ฆผ ๋ฐฉ์ | ๊ฒฐ์ ์ง์ ๋ฅ , ๊ฐ๋จ๊ฐ |
| ๐ณ ๊ฒฐ์ | ๊ฒ์คํธ ๊ฒฐ์ ํ์ฉ, ์ ๋ ฅ ํ๋ ์ถ์, ๊ฐํธ๊ฒฐ์ ๋ฒํผ ์์, ์ฟ ํฐ ์ ๋ ฅ๋ ๋ ธ์ถ ๋ฐฉ์, ๋จ๊ณํ vs ์ํ์ด์ง ๊ฒฐ์ | ๊ฒฐ์ ์์ ๋๋น ์๋ฃ์จ, ๊ฒฐ์ ์ค๋ฅ์จ |
์ฌ๋ก๋ก ์๊ฐํด๋ณด๊ธฐ: ์ฟ ํฐ ์ ๋ ฅ๋์ ์ญ์ค
๊ฒฐ์ ํ์ด์ง์ ๋์ ์ ๋๋ "์ฟ ํฐ ์ฝ๋ ์ ๋ ฅ" ์นธ์ด ์์ผ๋ฉด, ์ฟ ํฐ์ด ์๋ ๊ณ ๊ฐ๋ "์ด๋๊ฐ ํ ์ธ ์ฝ๋๊ฐ ์๋?" ํ๊ณ ๊ฒ์ํ๋ฌ ํ์ด์ง๋ฅผ ๋ ๋ ์ ์๋ค๋ ์ง์ ์ UX ์ ๊ณ์์ ์ค๋ ๋ ผ์๋์ด ์จ ์ฃผ์ ์ ๋๋ค. ๊ทธ๋์ ์ ๋ ฅ๋์ ์ ํ ๋งํฌ("์ฟ ํฐ์ด ์์ผ์ ๊ฐ์?")๋ก ๋ฐ๊พธ๋ ์คํ์ด ์์ฃผ ์๋๋ฉ๋๋ค. ํ์ง๋ง ์ฟ ํฐ ๋ง์ผํ ์ ์ ๊ทน์ ์ผ๋ก ํ๋ ๋ชฐ์ด๋ผ๋ฉด ์คํ๋ ค ์ฟ ํฐ ๋ณด์ ๊ณ ๊ฐ์ด ์ ๋ ฅ๋์ ๋ชป ์ฐพ์ ์ดํํ ์๋ ์์ต๋๋ค. ์ ๋ต์ ์คํ์ด ์๋ ค์ค๋๋ค.
์ฌ๋ก๋ก ์๊ฐํด๋ณด๊ธฐ: ๋ฐฐ์ก๋น ํ์ ์์
Baymard Institute์ ๊ฒฐ์ ์ดํ ์ฐ๊ตฌ์์๋ ๋ฐฐ์ก๋นยท์ธ๊ธ ๊ฐ์ ์์์น ๋ชปํ ์ถ๊ฐ ๋น์ฉ์ด ์ฅ๋ฐ๊ตฌ๋ ์ดํ์ ์ฃผ์ ์ฌ์ ๋ก ๊พธ์คํ ๊ผฝํ์์ต๋๋ค. ์ด๋ฅผ ๊ทผ๊ฑฐ๋ก "์ํ ์์ธ์์๋ถํฐ ๋ฐฐ์ก๋น์ ๋์ฐฉ ์์ ์ผ์ ๋ช ํํ ๋ณด์ฌ์ฃผ๊ธฐ" ๊ฐ์ ๊ฐ์ค์ ์ธ์ธ ์ ์์ต๋๋ค. ๋จ, ๋ฐฐ์ก๋น๊ฐ ์ผ์ฐ ๋ณด์ด๋ฉด ์์ธ ํ์ด์ง ๋จ๊ณ์ ์ฅ๋ฐ๊ตฌ๋ ๋ด๊ธฐ์จ์ ๋จ์ด์ง๊ณ ๊ฒฐ์ ์๋ฃ์จ์ ์ค๋ฅด๋, ์งํ ๊ฐ ์์ถฉ์ด ๋ํ๋ ์ ์์ผ๋ฏ๋ก ์ต์ข ํ์ ์ ๋ฐฉ๋ฌธ์๋น ๊ตฌ๋งค ์ ํ์จยท๋งค์ถ๋ก ํด์ผ ํฉ๋๋ค.
8. ๊ฒฐ๊ณผ ๋ถ์๊ณผ ์์ฌ๊ฒฐ์ ๐งญ
์คํ์ด ๋๋ฌ์ต๋๋ค. ์ด์ ์ซ์๋ฅผ ํด์ํด "๋ฐฐํฌํ ๊ฒ์ธ๊ฐ"๋ฅผ ๊ฒฐ์ ํ ์ฐจ๋ก์ ๋๋ค. ๊ฐ์ ์ ๋ฐฐ์ ํ๊ณ ๋ค์ ์์๋ฅผ ๋ฐ๋ฅด๋ ๊ฒ์ด ์ข์ต๋๋ค.
"์ ์ํ์ง ์์"์ "ํจ๊ณผ ์์"์ด ์๋๋ค
๊ฒฐ๊ณผ๊ฐ ํต๊ณ์ ์ผ๋ก ์ ์ํ์ง ์๋ค๋ ๊ฒ์ "์ด ์คํ์ ๊ฒ์ ๋ ฅ์ผ๋ก๋ ์ฐจ์ด๋ฅผ ๊ฐ์งํ์ง ๋ชปํ๋ค"๋ ๋ป์ ๋๋ค. ์ ๋ขฐ๊ตฌ๊ฐ์ด โ0.5% ~ +6%์ฒ๋ผ ๋๋ค๋ฉด "๋ชจ๋ฅธ๋ค"๊ฐ ์ ํํ ๊ฒฐ๋ก ์ด๊ณ , โ0.3% ~ +0.4%์ฒ๋ผ ์ข๊ฒ 0 ์ฃผ๋ณ์ ๋ชจ์ฌ ์๋ค๋ฉด "์๋ฏธ ์๋ ํจ๊ณผ๋ ์๋ค๊ณ ๋ณผ ๊ทผ๊ฑฐ๊ฐ ์๋ค"๊ฐ ๊ฒฐ๋ก ์ ๋๋ค. ๊ฐ์ "๋น์ ์"๋ผ๋ ์๋ฏธ๊ฐ ์ ํ ๋ค๋ฆ ๋๋ค.
์น์์ ์ ์ฃผ์ ์ฅ๊ธฐ ํจ๊ณผ ์ถ์
์ฌ๋ฌ ์คํ ์ค "์ ์ํ๊ฒ ์ด๊ธด ๊ฒ"๋ง ๊ณจ๋ผ ๋ฐฐํฌํ๋ฉด, ์ ํ๋ ๊ฒฐ๊ณผ๋ ํ๊ท ์ ์ผ๋ก ์ค์ ํจ๊ณผ๋ณด๋ค ๊ณผ๋์ถ์ ๋๋ ๊ฒฝํฅ์ด ์์ต๋๋ค(์น์์ ์ ์ฃผ). ๊ทธ๋์ ๋ฐฐํฌ ํ ์ค์ ๋งค์ถ ์์น์ด ์คํ ์์น๋ณด๋ค ์๊ฒ ๋ํ๋๋ ์ผ์ด ํํฉ๋๋ค. ์ด๋ฅผ ์ ๊ฒํ๋ ค๊ณ ์ผ๋ถ ๊ธฐ์ ์ ๋ฐฐํฌ ํ์๋ ์๋์ ํธ๋ํฝ์ ๊ธฐ์กด ๋ฒ์ ์ ๋จ๊ฒจ๋๋ ํ๋์์(Holdout) ๊ทธ๋ฃน์ ์ด์ํด ๋์ ํจ๊ณผ๋ฅผ ์ธก์ ํฉ๋๋ค.
A/B๋ฅผ ๋์ด์: ๋ค๋ฅธ ์คํ ๋ฐฉ์๋ค
9. ์คํ ๋ฌธํ: ๊ธฐ์ ๋ณด๋ค ์ด๋ ค์ด ๊ฒ ๐ฑ
๋๊ตฌ๋ฅผ ๋์ ํ๋ ๊ฒ์ ํ๋ฃจ๋ฉด ๋์ง๋ง, ์คํ์ด ์์ฌ๊ฒฐ์ ์ ๊ธฐ๋ณธ๊ฐ์ด ๋๋ ๋ฐ๋ ํจ์ฌ ์ค๋ ์๊ฐ์ด ๊ฑธ๋ฆฝ๋๋ค. ์คํ์ ๊พธ์คํ ํด์จ ์กฐ์ง๋ค์ด ๊ณตํต์ ์ผ๋ก ๊ฐ์กฐํ๋ ์ต๊ด์ด ์์ต๋๋ค.
์คํ์ ๋ชฉ์ ์ ๋ด๊ฐ ์ณ์์์ ์ฆ๋ช ํ๋ ๊ฒ์ด ์๋๋ผ, ๋ฌด์์ด ์ณ์์ง๋ฅผ ๋ฐฐ์ฐ๋ ๊ฒ์ด๋ค.
10. ์์ฃผ ๋ฌป๋ ์ง๋ฌธ ๐
๊ฐ๋ฅํ์ง๋ง ๊ธฐ๋์น๋ฅผ ์กฐ์ ํด์ผ ํฉ๋๋ค. ์์ ๊ณ์ฐ์ฒ๋ผ ๋ฏธ์ธํ ํจ๊ณผ๋ฅผ ๊ฐ์งํ๋ ค๋ฉด ์๋ง ๋ช ์ด ํ์ํ๋ฏ๋ก, ๊ฒฐ์ ํ๋ก์ฐ ์ ๋ฉด ๊ฐํธ์ฒ๋ผ ํฐ ํจ๊ณผ๊ฐ ์์๋๋ ๋ณ๊ฒฝ ์์ฃผ๋ก, ์ ํ๋ณด๋ค ๋น๋๊ฐ ๋์ ์งํ(์ฅ๋ฐ๊ตฌ๋ ๋ด๊ธฐ ๋ฑ)๋ฅผ ํจ๊ป ๋ณด๋ฉฐ ์งํํ์ธ์. ํธ๋ํฝ์ด ์ ๋ง ๋ถ์กฑํ๋ค๋ฉด ์ฌ์ฉ์ฑ ํ ์คํธยท์ธ์ ๋ฆฌํ๋ ์ด ๊ฐ์ ์ ์ฑ ๋ฆฌ์์น๊ฐ ๋ ํจ์จ์ ์ผ ์ ์์ต๋๋ค.
๋ฉ๋๋ค. ์ํํ ๋ณ๊ฒฝ์ด๋ผ๋ฉด ์์ ๋น์จ๋ก ์์ํ๋ ๊ฒ์ด ์์ ํฉ๋๋ค. ๋ค๋ง ๊ฐ์ ์ด ํ๋ณธ์์๋ 50:50์ผ ๋ ๊ฒ์ ๋ ฅ์ด ๊ฐ์ฅ ๋์ต๋๋ค. ๋ ์คํ ๋์ค ๋น์จ์ ๋ฐ๊พธ๋ฉด(10% โ 50%) ๊ธฐ๊ฐ๋ณ ์ฌ์ฉ์ ๊ตฌ์ฑ์ด ๋ฌ๋ผ์ ธ ๊ฒฐ๊ณผ๊ฐ ์๊ณก๋ ์ ์์ผ๋, ๋น์จ ๋ณ๊ฒฝ ์์๋ ๋ถ์ ๊ธฐ๊ฐ์ ๋๋๊ฑฐ๋ ์๋ก ์์ํ๋ ๊ฒ์ด ์ข์ต๋๋ค.
๋๋ฌธ ์ผ์ด ์๋๋๋ค. 1์ข ์ค๋ฅ, ์น์์ ์ ์ฃผ, ์ ๊ธฐ ํจ๊ณผ, ๊ณ์ ์ฑ ๋ฑ์ด ์์ธ์ผ ์ ์์ต๋๋ค. ์ค์ํ ๊ฒฐ์ ์ผ์๋ก ์ฌํ ์คํ์ ํ๋ ๊ฒ์ด ์ข์ ์ต๊ด์ ๋๋ค.
๊ตฌ๊ธ์ ๊ฒ์ ์ผํฐ ๋ฌธ์์์ A/B ํ ์คํธ ์ ํด๋กํน(๊ฒ์ ๋ก๋ด์๊ฒ๋ง ๋ค๋ฅธ ์ฝํ ์ธ ์ ๊ณต)์ ํ์ง ๋ง๊ณ , ์ฌ๋ฌ URL๋ก ๋๋ ํ ์คํธํ ๋๋ rel="canonical"์ ํ์ฉํ๋ฉฐ, ๋ฆฌ๋ค์ด๋ ํธ๋ ์์(302)๋ก ํ๊ณ , ์คํ์ ํ์ํ ๊ธฐ๊ฐ๋ง ์ด์ํ๋ผ๋ ์ทจ์ง์ ๊ฐ์ด๋๋ฅผ ์ ๊ณตํฉ๋๋ค.
11. ๋ง๋ฌด๋ฆฌ: ์ค๋ ๋ฐ๋ก ์์ํ๋ ์ฒดํฌ๋ฆฌ์คํธ โ
โ๏ธ ๋ชฉํ ์งํ ํ๋์ ๊ฐ๋๋ ์ผ ์งํ๋ฅผ ์คํ ์ ์ ์ ํ๋๊ฐ?
โ๏ธ MDE๋ฅผ ์ ํ๊ณ ํ์ํ ํ๋ณธ ํฌ๊ธฐยท๊ธฐ๊ฐ์ ๊ณ์ฐํ๋๊ฐ?
โ๏ธ ์ฌ์ฉ์ ๋จ์ ๊ฒฐ์ ๋ก ์ ํด์ ๋ฐฐ์ ๊ณผ ๋ ธ์ถ ๋ก๊น ์ ๊ตฌํํ๋๊ฐ?
โ๏ธ A/A ํ ์คํธ๋ก ํ๋ซํผ์ ๊ฒ์ฆํ๋๊ฐ?
โ๏ธ ์ค๊ฐ์ ์ฟ๋ณด๊ณ ๋ฉ์ถ์ง ์์ ๊ท์น(๋๋ ์์ฐจ ๊ฒ์ )์ ์ธ์ ๋๊ฐ?
โ๏ธ ๋ถ์ ์ SRM โ ๊ฐ๋๋ ์ผ โ ํจ๊ณผ์ ์ ๋ขฐ๊ตฌ๊ฐ ์์ผ๋ก ํ์ธํ๋๊ฐ?
โ๏ธ ๊ฒฐ๊ณผ(์ฑ๊ณตยท์คํจ ๋ชจ๋)๋ฅผ ๊ธฐ๋กํ๊ณ , ๋๋ ์คํ ์ฝ๋๋ฅผ ์ ๋ฆฌํ๋๊ฐ?
A/B ํ ์คํธ๋ ํ๋ คํ ๊ธฐ์ ์ด๋ผ๊ธฐ๋ณด๋ค ๊ฒธ์์ ๊ธฐ์ ์ ๋๋ค. "์ฐ๋ฆฌ๊ฐ ๊ณ ๊ฐ์ ๋ค ์๋ค"๋ ์ฐฉ๊ฐ์ ๋ด๋ ค๋๊ณ , ๋ฒํผ ํ๋, ๋ฌธ๊ตฌ ํ ์ค๋ ๊ณ ๊ฐ์๊ฒ ์ง์ ๋ฌผ์ด๋ณด๋ ํ๋์ฃ . ๊ทธ๋ ๊ฒ ์์ธ ์์ ๊ฒ์ฆ๋ค์ด ๋ชจ์ด๋ฉด, ๊ฒฝ์์ฌ๊ฐ ๋ฐ๋ผ ํ ์ ์๋ ์ฐ๋ฆฌ ์ผํ๋ชฐ๋ง์ ๋ฐ์ดํฐ ์์ฐ์ด ๋ฉ๋๋ค. ๋ค์ ํ์์์ "์ด๋ก ๋ฒํผ์ด ๋ ์ข์ ๊ฒ ๊ฐ์์"๋ผ๋ ๋ง์ด ๋์ค๋ฉด, ์ด๋ ๊ฒ ๋ตํด๋ณด์ธ์. "์ข์ ๊ฐ์ค์ด๋ค์. ์คํํด ๋ด ์๋ค." ๐งช
๊ด๋ จ ํค์๋
๋๊ธ ์์ฑ
์ด ๊ธ์ ๋ํ ์ฌ๋ฌ๋ถ์ ์๊ฐ์ ๋ค๋ ค์ฃผ์ธ์
๋ก๊ทธ์ธ์ด ํ์ํฉ๋๋ค
๋๊ธ์ ์์ฑํ๋ ค๋ฉด ๋จผ์ ๋ก๊ทธ์ธํด์ฃผ์ธ์.
๋๊ธ 0
์ง์์ธ์ ์ฒ - ์ง์ ์ฌ์ฐ๊ถ ๋ณดํธ ๊ณ ์ง
์ง์ ์ฌ์ฐ๊ถ ๋ณดํธ ๊ณ ์ง
- ์ ์๊ถ ๋ฐ ์์ ๊ถ: ๋ณธ ์ปจํ ์ธ ๋ ์ฌ๋ฅ๋ท์ ๋ ์ AI ๊ธฐ์ ๋ก ์์ฑ๋์์ผ๋ฉฐ, ๋ํ๋ฏผ๊ตญ ์ ์๊ถ๋ฒ ๋ฐ ๊ตญ์ ์ ์๊ถ ํ์ฝ์ ์ํด ๋ณดํธ๋ฉ๋๋ค.
- AI ์์ฑ ์ปจํ ์ธ ์ ๋ฒ์ ์ง์: ๋ณธ AI ์์ฑ ์ปจํ ์ธ ๋ ์ฌ๋ฅ๋ท์ ์ง์ ์ฐฝ์๋ฌผ๋ก ์ธ์ ๋๋ฉฐ, ๊ด๋ จ ๋ฒ๊ท์ ๋ฐ๋ผ ์ ์๊ถ ๋ณดํธ๋ฅผ ๋ฐ์ต๋๋ค.
- ์ฌ์ฉ ์ ํ: ์ฌ๋ฅ๋ท์ ๋ช ์์ ์๋ฉด ๋์ ์์ด ๋ณธ ์ปจํ ์ธ ๋ฅผ ๋ณต์ , ์์ , ๋ฐฐํฌ, ๋๋ ์์ ์ ์ผ๋ก ํ์ฉํ๋ ํ์๋ ์๊ฒฉํ ๊ธ์ง๋ฉ๋๋ค.
- ๋ฐ์ดํฐ ์์ง ๊ธ์ง: ๋ณธ ์ปจํ ์ธ ์ ๋ํ ๋ฌด๋จ ์คํฌ๋ํ, ํฌ๋กค๋ง, ๋ฐ ์๋ํ๋ ๋ฐ์ดํฐ ์์ง์ ๋ฒ์ ์ ์ฌ์ ๋์์ด ๋ฉ๋๋ค.
- AI ํ์ต ์ ํ: ์ฌ๋ฅ๋ท์ AI ์์ฑ ์ปจํ ์ธ ๋ฅผ ํ AI ๋ชจ๋ธ ํ์ต์ ๋ฌด๋จ ์ฌ์ฉํ๋ ํ์๋ ๊ธ์ง๋๋ฉฐ, ์ด๋ ์ง์ ์ฌ์ฐ๊ถ ์นจํด๋ก ๊ฐ์ฃผ๋ฉ๋๋ค.
์์ง ๋๊ธ์ด ์์ต๋๋ค.