์ฝ˜ํ…์ธ  ๋Œ€ํ‘œ ์ด๋ฏธ์ง€ - ๐Ÿงช A/B ํ…Œ์ŠคํŠธ๋ฅผ ํ†ตํ•œ ์‡ผํ•‘๋ชฐ UI/UX ์ตœ์ ํ™” โ€” ๊ฐ ๋Œ€์‹  ๋ฐ์ดํ„ฐ๋กœ ๋ฒ„ํŠผ ํ•˜๋‚˜๊นŒ์ง€ ์ฆ๋ช…ํ•˜๋Š” ์‹คํ—˜์‹ค ๊ฐ€์ด๋“œ

๐Ÿงช A/B ํ…Œ์ŠคํŠธ๋ฅผ ํ†ตํ•œ ์‡ผํ•‘๋ชฐ UI/UX ์ตœ์ ํ™” โ€” ๊ฐ ๋Œ€์‹  ๋ฐ์ดํ„ฐ๋กœ ๋ฒ„ํŠผ ํ•˜๋‚˜๊นŒ์ง€ ์ฆ๋ช…ํ•˜๋Š” ์‹คํ—˜์‹ค ๊ฐ€์ด๋“œ

"์ดˆ๋ก ๋ฒ„ํŠผ์ด ๋” ์ž˜ ํŒ”๋ฆด ๊ฒƒ ๊ฐ™์•„์š”"๋ผ๋Š” ํšŒ์˜์‹ค์˜ ์ง๊ฐ์„, ํ†ต๊ณ„์ ์œผ๋กœ ๊ฒ€์ฆ๋œ ์‚ฌ์‹ค๋กœ ๋ฐ”๊พธ๋Š” ๋ฐฉ๋ฒ•์ด ์žˆ์Šต๋‹ˆ๋‹ค.
์‡ผํ•‘๋ชฐ ๊ฐœ๋ฐœ์ž์™€ ๊ธฐํš์ž๊ฐ€ ํ•จ๊ป˜ ์•Œ์•„์•ผ ํ•  A/B ํ…Œ์ŠคํŠธ์˜ ์›๋ฆฌ, ์„ค๊ณ„, ๊ตฌํ˜„, ํ•จ์ •, ๊ทธ๋ฆฌ๊ณ  ์˜์‚ฌ๊ฒฐ์ •๊นŒ์ง€ ํ•œ ๋ฒˆ์— ์ •๋ฆฌํ–ˆ์Šต๋‹ˆ๋‹ค.

๋ฐฉ๋ฌธ์ž๋ฅผ ๋ฐ˜์”ฉ ๋‚˜๋ˆ  ๋น„๊ตํ•˜๊ธฐ ๋ฌด์ž‘์œ„ ๋ฐฐ์ • 50 : 50 A ์•ˆ (๊ธฐ์กด) ๊ตฌ๋งคํ•˜๊ธฐ B ์•ˆ (๋ณ€ํ˜•) ๋ฐ”๋กœ ๊ตฌ๋งค A B ์ „ํ™˜์œจ ๋น„๊ต

1. A/B ํ…Œ์ŠคํŠธ๋ž€ ๋ฌด์—‡์ด๊ณ , ์™œ ์‡ผํ•‘๋ชฐ์—์„œ ํŠนํžˆ ๊ฐ•๋ ฅํ•œ๊ฐ€ ๐Ÿ›’

A/B ํ…Œ์ŠคํŠธ๋Š” ์˜จ๋ผ์ธ ํ†ต์ œ ์‹คํ—˜(Online Controlled Experiment)์˜ ๊ฐ€์žฅ ๋‹จ์ˆœํ•œ ํ˜•ํƒœ์ž…๋‹ˆ๋‹ค. ๊ฐ™์€ ์‹œ๊ธฐ์— ๋“ค์–ด์˜จ ์‚ฌ์šฉ์ž๋ฅผ ๋ฌด์ž‘์œ„๋กœ ๋‘ ๊ทธ๋ฃน์œผ๋กœ ๋‚˜๋ˆ„๊ณ , ํ•œ ๊ทธ๋ฃน์—๋Š” ๊ธฐ์กด ํ™”๋ฉด(๋Œ€์กฐ๊ตฐ, Control)์„, ๋‹ค๋ฅธ ๊ทธ๋ฃน์—๋Š” ๋ฐ”๊พผ ํ™”๋ฉด(์‹คํ—˜๊ตฐ, Treatment)์„ ๋ณด์—ฌ์ค€ ๋’ค ๊ตฌ๋งค ์ „ํ™˜์œจยท๊ฐ๋‹จ๊ฐ€ ๊ฐ™์€ ์ง€ํ‘œ๋ฅผ ๋น„๊ตํ•ฉ๋‹ˆ๋‹ค.
ํ•ต์‹ฌ์€ "๋ฌด์ž‘์œ„ ๋ฐฐ์ •"์ž…๋‹ˆ๋‹ค. ๋ฌด์ž‘์œ„๋กœ ๋‚˜๋ˆ„๋ฉด ์š”์ผ, ๋‚ ์”จ, ๊ฒฝ์Ÿ์‚ฌ ์„ธ์ผ, ์œ ์ž… ์ฑ„๋„ ๊ฐ™์€ ์™ธ๋ถ€ ์š”์ธ์ด ๋‘ ๊ทธ๋ฃน์— ๋˜‘๊ฐ™์ด ์„ž์ด๊ธฐ ๋•Œ๋ฌธ์—, ๊ฒฐ๊ณผ์˜ ์ฐจ์ด๋ฅผ ์˜ค์ง ํ™”๋ฉด์˜ ์ฐจ์ด๋กœ ๋Œ๋ฆด ์ˆ˜ ์žˆ๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ์ด๊ฒƒ์ด ์ƒ๊ด€๊ด€๊ณ„๊ฐ€ ์•„๋‹Œ ์ธ๊ณผ๊ด€๊ณ„๋ฅผ ๋งํ•  ์ˆ˜ ์žˆ๋Š” ๊ทผ๊ฑฐ์ž…๋‹ˆ๋‹ค.

์‡ผํ•‘๋ชฐ์€ A/B ํ…Œ์ŠคํŠธ๊ฐ€ ๋น›๋‚˜๋Š” ๋Œ€ํ‘œ์ ์ธ ๋ฌด๋Œ€์ž…๋‹ˆ๋‹ค. ์ด์œ ๋Š” ์„ธ ๊ฐ€์ง€์ž…๋‹ˆ๋‹ค.

๐Ÿ“ˆ์ธก์ • ๊ฐ€๋Šฅํ•œ ๋ชฉํ‘œ๊ฐ€ ๋ช…ํ™•์žฅ๋ฐ”๊ตฌ๋‹ˆ ๋‹ด๊ธฐ, ๊ฒฐ์ œ ์™„๋ฃŒ, ๋งค์ถœ์ฒ˜๋Ÿผ ํ–‰๋™์ด ๊ณง ์ˆซ์ž๋กœ ๋‚จ์Šต๋‹ˆ๋‹ค. "์ข‹์•„ ๋ณด์ธ๋‹ค"๊ฐ€ ์•„๋‹ˆ๋ผ "๋” ์ƒ€๋‹ค"๋กœ ํŒ๋‹จํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๐Ÿ‘ฅํŠธ๋ž˜ํ”ฝ์ด ๋ฐ˜๋ณต์ ์œผ๋กœ ์œ ์ž…๐Ÿ’ธ์ž‘์€ ์ฐจ์ด๊ฐ€ ํฐ ๋ˆ๊ฒฐ์ œ ๋‹จ๊ณ„์˜ ์ž‘์€ ๊ฐœ์„ ๋„ ์ „์ฒด ๊ฑฐ๋ž˜์•ก์— ๊ณฑํ•ด์ ธ ๋ˆ„์ ๋˜๊ธฐ ๋•Œ๋ฌธ์—, ๋ฏธ์„ธํ•œ UI ๋ณ€๊ฒฝ์˜ ๊ฐ€์น˜๊ฐ€ ํฝ๋‹ˆ๋‹ค.
์‹ค์ œ ์‚ฌ๋ก€๋กœ ๋ณด๋Š” ์‹คํ—˜์˜ ํž˜ ๋งˆ์ดํฌ๋กœ์†Œํ”„ํŠธ์—์„œ ์˜ค๋žซ๋™์•ˆ ์‹คํ—˜ ํ”Œ๋žซํผ์„ ์ด๋ˆ ๋กœ๋‹ˆ ์ฝ”ํ•˜๋น„(Ronny Kohavi)๋Š” ํ•˜๋ฒ„๋“œ ๋น„์ฆˆ๋‹ˆ์Šค ๋ฆฌ๋ทฐ ๊ธฐ๊ณ (2017, "The Surprising Power of Online Experiments")์—์„œ Bing ๊ฒ€์ƒ‰ ๊ด‘๊ณ  ์ œ๋ชฉ ํ‘œ์‹œ ๋ฐฉ์‹์„ ์‚ด์ง ๋ฐ”๊พผ ์‹คํ—˜์ด ์ˆ˜๊ฐœ์›”๊ฐ„ ์šฐ์„ ์ˆœ์œ„์—์„œ ๋ฐ€๋ ค ์žˆ๋‹ค๊ฐ€, ๋ง‰์ƒ ์‹คํ–‰ํ•ด ๋ณด๋‹ˆ ๋งค์ถœ์„ ํฌ๊ฒŒ ๋Œ์–ด์˜ฌ๋ฆฐ ์‚ฌ๋ก€๋ฅผ ์†Œ๊ฐœํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด ์‚ฌ๋ก€๊ฐ€ ์ฃผ๋Š” ๊ตํ›ˆ์€ "์•„๋ฌด๋„ ๊ธฐ๋Œ€ํ•˜์ง€ ์•Š์€ ์ž‘์€ ์•„์ด๋””์–ด๊ฐ€ ๊ฐ€์žฅ ํฐ ์„ฑ๊ณผ๋ฅผ ๋‚ผ ์ˆ˜ ์žˆ๋‹ค"๋Š” ๊ฒƒ, ๊ทธ๋ฆฌ๊ณ  ์‚ฌ๋žŒ์˜ ์ง๊ฐ์€ ์•„์ด๋””์–ด์˜ ๊ฐ€์น˜๋ฅผ ์˜ˆ์ธกํ•˜๋Š” ๋ฐ ์ƒ๊ฐ๋ณด๋‹ค ์„œํˆด๋‹ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๊ฐ™์€ ์ €์ž๋Š” ๊ณต์ €์„œ Trustworthy Online Controlled Experiments(2020)์—์„œ ๋Œ€ํ˜• ๊ธฐ์—…์—์„œ๋„ ์‹คํ—˜ํ•œ ์•„์ด๋””์–ด ์ค‘ ์ƒ๋‹น์ˆ˜๊ฐ€ ์ง€ํ‘œ๋ฅผ ๊ฐœ์„ ํ•˜์ง€ ๋ชปํ•œ๋‹ค๊ณ  ์ •๋ฆฌํ–ˆ์Šต๋‹ˆ๋‹ค.

์ฆ‰, A/B ํ…Œ์ŠคํŠธ๋Š” "์ข‹์€ ์•„์ด๋””์–ด๋ฅผ ์ฐพ๋Š” ๋„๊ตฌ"์ด๊ธฐ ์ด์ „์— "๋‚˜์œ ์•„์ด๋””์–ด๊ฐ€ ๋ฐฐํฌ๋˜๋Š” ๊ฒƒ์„ ๋ง‰๋Š” ์•ˆ์ „์žฅ์น˜"์ด๊ธฐ๋„ ํ•ฉ๋‹ˆ๋‹ค. ๋””์ž์ธ ๋ฆฌ๋‰ด์–ผ์„ ํ–ˆ๋Š”๋ฐ ๋งค์ถœ์ด ๋–จ์–ด์กŒ๋‹ค๋ฉด, ๊ทธ ์›์ธ์ด ๋ฆฌ๋‰ด์–ผ์ธ์ง€ ์‹œ์ฆŒ ํƒ“์ธ์ง€ ์•Œ ๊ธธ์ด ์—†์Šต๋‹ˆ๋‹ค. ์‹คํ—˜์„ ๊ฑฐ์ณค๋‹ค๋ฉด ๋‹ต์€ ๋ช…ํ™•ํ•ฉ๋‹ˆ๋‹ค.

2. ์‡ผํ•‘๋ชฐ ํผ๋„๊ณผ ์ง€ํ‘œ ์„ค๊ณ„: ๋ฌด์—‡์„ ์žด ๊ฒƒ์ธ๊ฐ€ ๐ŸŽฏ

A/B ํ…Œ์ŠคํŠธ์—์„œ ๊ฐ€์žฅ ๋จผ์ €, ๊ทธ๋ฆฌ๊ณ  ๊ฐ€์žฅ ์‹ ์ค‘ํ•˜๊ฒŒ ์ •ํ•ด์•ผ ํ•˜๋Š” ๊ฒƒ์€ ํ™”๋ฉด ๋””์ž์ธ์ด ์•„๋‹ˆ๋ผ ์ง€ํ‘œ(Metric)์ž…๋‹ˆ๋‹ค. ์ง€ํ‘œ๋ฅผ ์ž˜๋ชป ๊ณ ๋ฅด๋ฉด ์‹คํ—˜์„ ์•„๋ฌด๋ฆฌ ์ •๊ตํ•˜๊ฒŒ ํ•ด๋„ ์—‰๋šฑํ•œ ๊ฒฐ๋ก ์— ๋„๋‹ฌํ•ฉ๋‹ˆ๋‹ค.

์‡ผํ•‘๋ชฐ ๊ตฌ๋งค ํผ๋„ โ‘  ๋ฐฉ๋ฌธ (ํ™ˆยท๋žœ๋”ฉ) โ‘ก ์ƒํ’ˆ ๋ชฉ๋กยท๊ฒ€์ƒ‰ โ‘ข ์ƒํ’ˆ ์ƒ์„ธ โ‘ฃ ์žฅ๋ฐ”๊ตฌ๋‹ˆ โ‘ค ๊ฒฐ์ œ ์™„๋ฃŒ

ํผ๋„์˜ ๊ฐ ๋‹จ๊ณ„๋Š” ์„œ๋กœ ๋‹ค๋ฅธ UI ๋ฌธ์ œ๋ฅผ ๊ฐ€์ง€๊ณ  ์žˆ๊ณ , ๊ฐ๊ฐ์— ๋งž๋Š” ์ง€ํ‘œ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ์ƒํ’ˆ ์ƒ์„ธ ํŽ˜์ด์ง€์˜ ์ด๋ฏธ์ง€ ๊ฐค๋Ÿฌ๋ฆฌ๋ฅผ ๋ฐ”๊ฟจ๋‹ค๋ฉด 1์ฐจ์ ์œผ๋กœ "์žฅ๋ฐ”๊ตฌ๋‹ˆ ๋‹ด๊ธฐ์œจ"์ด ์›€์ง์ผ ๊ฒƒ์ด๊ณ , ๊ฒฐ์ œ ํŽ˜์ด์ง€์˜ ์ž…๋ ฅ ํผ์„ ์ค„์˜€๋‹ค๋ฉด "๊ฒฐ์ œ ์‹œ์ž‘ ๋Œ€๋น„ ์™„๋ฃŒ์œจ"์ด ์›€์ง์ผ ๊ฒƒ์ž…๋‹ˆ๋‹ค.

์ง€ํ‘œ์˜ ์„ธ ๊ฐ€์ง€ ์ธต์œ„

๊ตฌ๋ถ„์—ญํ• ์‡ผํ•‘๋ชฐ ์˜ˆ์‹œ
๋ชฉํ‘œ ์ง€ํ‘œ
(OEC, North Star)
์‹คํ—˜์˜ ์„ฑํŒจ๋ฅผ ์ตœ์ข… ํŒ๋‹จํ•˜๋Š” ๋‹จ ํ•˜๋‚˜์˜ ๊ธฐ์ค€๋ฐฉ๋ฌธ์ž๋‹น ๋งค์ถœ(RPV), ๋ฐฉ๋ฌธ์ž๋‹น ๊ตฌ๋งค ์ „ํ™˜์œจ
๋ณด์กฐยท์ง„๋‹จ ์ง€ํ‘œ์™œ ๊ฒฐ๊ณผ๊ฐ€ ๊ทธ๋ ‡๊ฒŒ ๋‚˜์™”๋Š”์ง€ ์„ค๋ช…์žฅ๋ฐ”๊ตฌ๋‹ˆ ๋‹ด๊ธฐ์œจ, ์ƒ์„ธ ํŽ˜์ด์ง€ ์Šคํฌ๋กค ๊นŠ์ด, ์ฟ ํฐ ์‚ฌ์šฉ๋ฅ 
๊ฐ€๋“œ๋ ˆ์ผ ์ง€ํ‘œ์ ˆ๋Œ€ ๋‚˜๋น ์ง€๋ฉด ์•ˆ ๋˜๋Š” ์•ˆ์ „์„ ํŽ˜์ด์ง€ ๋กœ๋”ฉ ์‹œ๊ฐ„, ์˜ค๋ฅ˜์œจ, ๋ฐ˜ํ’ˆยท์ทจ์†Œ์œจ, ๊ณ ๊ฐ์„ผํ„ฐ ๋ฌธ์˜๋Ÿ‰

์ฝ”ํ•˜๋น„ ๋“ฑ์€ ์—ฌ๋Ÿฌ ์ง€ํ‘œ๋ฅผ ํ•˜๋‚˜๋กœ ๋ฌถ์€ OEC(Overall Evaluation Criterion, ์ข…ํ•ฉ ํ‰๊ฐ€ ๊ธฐ์ค€)๋ฅผ ๋ฏธ๋ฆฌ ์ •ํ•ด๋‘๋ผ๊ณ  ๊ฐ•์กฐํ•ฉ๋‹ˆ๋‹ค. ์‹คํ—˜์ด ๋๋‚œ ๋’ค "์–ด๋–ค ์ง€ํ‘œ๋Š” ์˜ค๋ฅด๊ณ  ์–ด๋–ค ์ง€ํ‘œ๋Š” ๋‚ด๋ ธ๋Š”๋ฐ, ๊ทธ๋ž˜์„œ ๋ฐฐํฌํ•ด์•ผ ํ•˜๋‚˜?"๋ผ๋Š” ํ˜ผ๋ž€์„ ๋ง‰๊ธฐ ์œ„ํ•ด์„œ์ž…๋‹ˆ๋‹ค.

ํด๋ฆญ๋ฅ ์˜ ํ•จ์ • "๊ตฌ๋งคํ•˜๊ธฐ" ๋ฒ„ํŠผ์„ ๋นจ๊ฐ„์ƒ‰์œผ๋กœ ๋ฐ”๊ฟจ๋”๋‹ˆ ํด๋ฆญ๋ฅ ์ด ์˜ฌ๋ž๋‹ค๊ณ  ํ•ด์„œ ์„ฑ๊ณต์€ ์•„๋‹™๋‹ˆ๋‹ค. ํด๋ฆญ ํ›„ ๊ฒฐ์ œ ํŽ˜์ด์ง€์—์„œ ์ดํƒˆ์ด ๋Š˜์—ˆ๋‹ค๋ฉด ์ตœ์ข… ๋งค์ถœ์€ ๊ทธ๋Œ€๋กœ์ด๊ฑฐ๋‚˜ ๋–จ์–ด์งˆ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํŒ์—… ํ• ์ธ ์ฟ ํฐ์€ ์ „ํ™˜์œจ์„ ์˜ฌ๋ฆฌ์ง€๋งŒ ๊ฐ๋‹จ๊ฐ€์™€ ๋งˆ์ง„์„ ๊นŽ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์‡ผํ•‘๋ชฐ ์‹คํ—˜์€ ๊ฐ€๋Šฅํ•œ ํ•œ ํผ๋„์˜ ๋(๊ตฌ๋งคยท๋งค์ถœ)์— ๊ฐ€๊นŒ์šด ์ง€ํ‘œ๋ฅผ ๋ชฉํ‘œ๋กœ ๋‘๊ณ , ์ค‘๊ฐ„ ๋‹จ๊ณ„ ์ง€ํ‘œ๋Š” ์ง„๋‹จ์šฉ์œผ๋กœ ํ™œ์šฉํ•˜๋Š” ๊ฒƒ์ด ์•ˆ์ „ํ•ฉ๋‹ˆ๋‹ค.

๋น„์œจ ์ง€ํ‘œ vs ํ‰๊ท  ์ง€ํ‘œ

์ „ํ™˜์œจ์ฒ˜๋Ÿผ "ํ–ˆ๋‹ค/์•ˆ ํ–ˆ๋‹ค"๋กœ ๋‚˜๋‰˜๋Š” ์ดํ•ญ(binary) ์ง€ํ‘œ๋Š” ๋ถ„์‚ฐ ๊ณ„์‚ฐ์ด ๋‹จ์ˆœํ•ฉ๋‹ˆ๋‹ค. ๋ฐ˜๋ฉด ๊ฐ๋‹จ๊ฐ€(AOV)๋‚˜ ๋ฐฉ๋ฌธ์ž๋‹น ๋งค์ถœ(RPV)์ฒ˜๋Ÿผ ๊ธˆ์•ก์„ ๋‹ค๋ฃจ๋Š” ์—ฐ์†ํ˜• ์ง€ํ‘œ๋Š” ์†Œ์ˆ˜์˜ ๋Œ€๋Ÿ‰ ๊ตฌ๋งค ๊ณ ๊ฐ(์ด๋ฅธ๋ฐ” '๊ณ ๋ž˜')์ด ํ‰๊ท ์„ ํฌ๊ฒŒ ํ”๋“ค์–ด ๋ถ„์‚ฐ์ด ๋งค์šฐ ์ปค์ง‘๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ ๋งค์ถœ ์ง€ํ‘œ๋กœ ์‹คํ—˜ํ•  ๋•Œ๋Š” ๋‹ค์Œ ๊ธฐ๋ฒ•์ด ์ž์ฃผ ์“ฐ์ž…๋‹ˆ๋‹ค.

โœ‚๏ธ์œˆ์ €ํ™”(Winsorizing)ยท์บกํ•‘์ƒ์œ„ 0.1%๋‚˜ 1% ๊ฐ™์€ ๊ทน๋‹จ๊ฐ’์„ ํŠน์ • ์ƒํ•œ์œผ๋กœ ์ž˜๋ผ ๋ถ„์‚ฐ์„ ์ค„์ž…๋‹ˆ๋‹ค. ๊ธฐ์ค€์€ ์‹คํ—˜ ์ „์— ์ •ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿ“๋ถ„์„ ๋‹จ์œ„ ์ผ์น˜์‚ฌ์šฉ์ž ๋‹จ์œ„๋กœ ๋ฐฐ์ •ํ–ˆ๋‹ค๋ฉด ๋ถ„์„๋„ ์‚ฌ์šฉ์ž ๋‹จ์œ„๋กœ. ์„ธ์…˜ยทํŽ˜์ด์ง€๋ทฐ ๋‹จ์œ„๋กœ ์ง‘๊ณ„ํ•˜๋ฉด ๊ด€์ธก์น˜๋ผ๋ฆฌ ๋…๋ฆฝ์ด ์•„๋‹ˆ์–ด์„œ ๋ถ„์‚ฐ์ด ๊ณผ์†Œ์ถ”์ •๋ฉ๋‹ˆ๋‹ค(๋ธํƒ€ ๋ฐฉ๋ฒ• ๋“ฑ์œผ๋กœ ๋ณด์ •).
๐ŸงฎCUPED์‹คํ—˜ ์ด์ „ ๊ธฐ๊ฐ„์˜ ์‚ฌ์šฉ์ž ํ–‰๋™์„ ๊ณต๋ณ€๋Ÿ‰์œผ๋กœ ํ™œ์šฉํ•ด ๋ถ„์‚ฐ์„ ์ค„์ด๋Š” ๊ธฐ๋ฒ•. ๋งˆ์ดํฌ๋กœ์†Œํ”„ํŠธ ์—ฐ๊ตฌ์ง„(Deng ๋“ฑ, 2013)์ด ๋ฐœํ‘œํ–ˆ์œผ๋ฉฐ ๊ฐ™์€ ํ‘œ๋ณธ์œผ๋กœ ๋” ์ž‘์€ ์ฐจ์ด๋ฅผ ๊ฐ์ง€ํ•˜๊ฒŒ ํ•ด์ค๋‹ˆ๋‹ค.

3. ์ข‹์€ ๊ฐ€์„ค์ด ์ข‹์€ ์‹คํ—˜์„ ๋งŒ๋“ ๋‹ค ๐Ÿ’ก

"๋ฒ„ํŠผ ์ƒ‰์„ ๋ฐ”๊ฟ”๋ณด์ž"๋Š” ๊ฐ€์„ค์ด ์•„๋‹ˆ๋ผ ์•„์ด๋””์–ด์ž…๋‹ˆ๋‹ค. ๊ฐ€์„ค์€ ๊ด€์ฐฐ โ†’ ์›์ธ ์ถ”์ • โ†’ ๋ณ€๊ฒฝ โ†’ ๊ธฐ๋Œ€ ๊ฒฐ๊ณผ์˜ ๊ตฌ์กฐ๋ฅผ ๊ฐ–์ถฐ์•ผ ํ•˜๋ฉฐ, ๊ทธ๋ž˜์•ผ ๊ฒฐ๊ณผ๊ฐ€ ์‹คํŒจ๋กœ ๋‚˜์™€๋„ ๋ฌด์–ธ๊ฐ€๋ฅผ ๋ฐฐ์šธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ฐ€์„ค ์ž‘์„ฑ ํ…œํ”Œ๋ฆฟ [๊ด€์ฐฐ] ๋ชจ๋ฐ”์ผ ์ƒ์„ธ ํŽ˜์ด์ง€์—์„œ ์‚ฌ์šฉ์ž์˜ ์ƒ๋‹น์ˆ˜๊ฐ€ ์˜ต์…˜ ์„ ํƒ ์˜์—ญ๊นŒ์ง€ ์Šคํฌ๋กคํ•˜์ง€ ์•Š๊ณ  ์ดํƒˆํ•œ๋‹ค (๋ถ„์„ ๋„๊ตฌยทํžˆํŠธ๋งต ๋ฐ์ดํ„ฐ).
[์›์ธ ์ถ”์ •] ๊ตฌ๋งค ๋ฒ„ํŠผ๊ณผ ์˜ต์…˜ ์„ ํƒ์ด ํ™”๋ฉด ํ•˜๋‹จ ๊นŠ์ˆ™์ด ์žˆ์–ด ๊ตฌ๋งค ์˜๋„๊ฐ€ ์žˆ์–ด๋„ ํ–‰๋™ ๋น„์šฉ์ด ํฌ๋‹ค.
[๋ณ€๊ฒฝ] ํ™”๋ฉด ํ•˜๋‹จ์— ๊ณ ์ •(sticky)๋œ ๊ตฌ๋งค ๋ฐ”๋ฅผ ์ถ”๊ฐ€ํ•˜๊ณ , ๋ˆ„๋ฅด๋ฉด ์˜ต์…˜ ๋ฐ”ํ…€์‹œํŠธ๋ฅผ ๋„์šด๋‹ค.
[๊ธฐ๋Œ€ ๊ฒฐ๊ณผ] ๋ชจ๋ฐ”์ผ ๋ฐฉ๋ฌธ์ž๋‹น ์žฅ๋ฐ”๊ตฌ๋‹ˆ ๋‹ด๊ธฐ์œจ๊ณผ ๊ตฌ๋งค ์ „ํ™˜์œจ์ด ์ƒ์Šนํ•˜๋ฉฐ, ๋กœ๋”ฉ ์‹œ๊ฐ„๊ณผ ์˜ค๋ฅ˜์œจ์€ ์•…ํ™”๋˜์ง€ ์•Š๋Š”๋‹ค.

๊ฐ€์„ค์˜ ์žฌ๋ฃŒ๋Š” ์–ด๋””์„œ ์–ป์„๊นŒ

์ •๋Ÿ‰ ๋ฐ์ดํ„ฐ โ€” GA4 ๊ฐ™์€ ๋ถ„์„ ๋„๊ตฌ์˜ ํผ๋„ ์ดํƒˆ ๊ตฌ๊ฐ„, ๊ธฐ๊ธฐ๋ณ„ยท์ฑ„๋„๋ณ„ ์ „ํ™˜์œจ ์ฐจ์ด, ๊ฒ€์ƒ‰์–ด ๋ฌด๊ฒฐ๊ณผ์œจ ๋“ฑ์—์„œ "์–ด๋””๊ฐ€ ์ƒˆ๊ณ  ์žˆ๋Š”์ง€"๋ฅผ ์ฐพ์Šต๋‹ˆ๋‹ค.
์ •์„ฑ ๋ฐ์ดํ„ฐ โ€” ์„ธ์…˜ ๋ฆฌํ”Œ๋ ˆ์ด, ํžˆํŠธ๋งต, ์‚ฌ์šฉ์„ฑ ํ…Œ์ŠคํŠธ, ๊ณ ๊ฐ์„ผํ„ฐ ๋ฌธ์˜ ๋‚ด์šฉ, ์ƒํ’ˆ ๋ฆฌ๋ทฐ์—์„œ "์™œ ์ƒˆ๋Š”์ง€"๋ฅผ ์ฐพ์Šต๋‹ˆ๋‹ค. ์˜ˆ: "๋ฐฐ์†ก๋น„๊ฐ€ ๊ฒฐ์ œ ๋‹จ๊ณ„์—์„œ์•ผ ๋ณด์—ฌ์„œ ๋†€๋ž๋‹ค"๋Š” ๋ฌธ์˜๊ฐ€ ๋ฐ˜๋ณต๋œ๋‹ค๋ฉด ๊ฐ•๋ ฅํ•œ ๊ฐ€์„ค ์žฌ๋ฃŒ์ž…๋‹ˆ๋‹ค.
UX ํœด๋ฆฌ์Šคํ‹ฑ๊ณผ ๋ฆฌ์„œ์น˜ โ€” ๋‹์Šจ ๋…ธ๋จผ ๊ทธ๋ฃน์˜ ์‚ฌ์šฉ์„ฑ ํœด๋ฆฌ์Šคํ‹ฑ, Baymard Institute์˜ ์ด์ปค๋จธ์Šค ๊ฒฐ์ œ ์‚ฌ์šฉ์„ฑ ์—ฐ๊ตฌ์ฒ˜๋Ÿผ ์ถ•์ ๋œ ์ง€์‹์€ "๊ฒ€์ฆํ•ด๋ณผ ๊ฐ€์น˜๊ฐ€ ๋†’์€ ํ›„๋ณด"๋ฅผ ์ถ”๋ฆฌ๋Š” ๋ฐ ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค. ๋‹จ, ๋‚จ์˜ ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๊ฐ€ ๋‚ด ์‡ผํ•‘๋ชฐ์—์„œ๋„ ํ†ตํ•œ๋‹ค๋Š” ๋ณด์žฅ์€ ์—†์œผ๋‹ˆ ์‹คํ—˜์œผ๋กœ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค.
์šฐ์„ ์ˆœ์œ„ ๋งค๊ธฐ๊ธฐ โ€” ICE(ImpactยทConfidenceยทEase)๋‚˜ PIE(PotentialยทImportanceยทEase) ๊ฐ™์€ ์ ์ˆ˜ํ‘œ๋กœ ํ›„๋ณด๋ฅผ ์ •๋ ฌํ•ฉ๋‹ˆ๋‹ค. ํŠธ๋ž˜ํ”ฝ์ด ๋งŽ์€ ํŽ˜์ด์ง€, ๋งค์ถœ์— ๊ฐ€๊นŒ์šด ๋‹จ๊ณ„, ๊ตฌํ˜„์ด ์‰ฌ์šด ๋ณ€๊ฒฝ์ด ๋Œ€์ฒด๋กœ ๋จผ์ €์ž…๋‹ˆ๋‹ค.
ํ•œ ๋ฒˆ์— ํ•˜๋‚˜๋งŒ ๋ฐ”๊ฟ”์•ผ ํ• ๊นŒ? ์›์ธ์„ ์ •ํ™•ํžˆ ์•Œ๊ณ  ์‹ถ๋‹ค๋ฉด ํ•˜๋‚˜์˜ ์š”์†Œ๋งŒ ๋ฐ”๊พธ๋Š” ๊ฒŒ ๊น”๋”ํ•ฉ๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ํŠธ๋ž˜ํ”ฝ์ด ์ ์€ ์‡ผํ•‘๋ชฐ์—์„œ ๋ฒ„ํŠผ ๋ฌธ๊ตฌ ๊ฐ™์€ ๋ฏธ์„ธํ•œ ๋ณ€๊ฒฝ์€ ํšจ๊ณผ๊ฐ€ ๋„ˆ๋ฌด ์ž‘์•„ ๊ฐ์ง€ ์ž์ฒด๊ฐ€ ์–ด๋ ต์Šต๋‹ˆ๋‹ค. ์ด๋Ÿด ๋•Œ๋Š” ์ƒ์„ธ ํŽ˜์ด์ง€ ์ „์ฒด ๋ ˆ์ด์•„์›ƒ์ฒ˜๋Ÿผ ํฐ ๋ณ€ํ™”๋ฅผ ๋ฌถ์–ด์„œ ํ…Œ์ŠคํŠธํ•˜๊ณ , ์„ฑ๊ณตํ•˜๋ฉด ๊ทธ ์•ˆ์˜ ์š”์†Œ๋ฅผ ์ชผ๊ฐœ ํ›„์† ์‹คํ—˜์„ ํ•˜๋Š” ์ „๋žต์ด ํ˜„์‹ค์ ์ž…๋‹ˆ๋‹ค.

4. ํ†ต๊ณ„์˜ ๋ผˆ๋Œ€: ์œ ์˜์„ฑ, ๊ฒ€์ •๋ ฅ, ํ‘œ๋ณธ ํฌ๊ธฐ ๐Ÿ“Š

A/B ํ…Œ์ŠคํŠธ์˜ ๊ฒฐ๊ณผ๊ฐ€ "์ง„์งœ ์ฐจ์ด"์ธ์ง€ "์šฐ์—ฐํ•œ ํ”๋“ค๋ฆผ"์ธ์ง€ ํŒ๋ณ„ํ•˜๋Š” ๊ฒƒ์ด ํ†ต๊ณ„์˜ ์—ญํ• ์ž…๋‹ˆ๋‹ค. ๊ฐœ๋ฐœ์ž ์ž…์žฅ์—์„œ ๊ผญ ์•Œ์•„์•ผ ํ•  ๊ฐœ๋…๋งŒ ์ •ํ™•ํ•˜๊ฒŒ ์งš์–ด๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.

๊ท€๋ฌด๊ฐ€์„ค๊ณผ ๋‘ ๊ฐ€์ง€ ์˜ค๋ฅ˜

๊ธฐ๋ณธ ์ถœ๋ฐœ์ ์€ ๊ท€๋ฌด๊ฐ€์„ค(Hโ‚€) "A์™€ B์˜ ์ง„์งœ ์ „ํ™˜์œจ์€ ๊ฐ™๋‹ค"์ž…๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ๊ฐ€ ์ด ๊ฐ€์ •๊ณผ ๋„ˆ๋ฌด ์–ด๊ธ‹๋‚˜๋ฉด ๊ท€๋ฌด๊ฐ€์„ค์„ ๊ธฐ๊ฐํ•˜๊ณ  "์ฐจ์ด๊ฐ€ ์žˆ๋‹ค"๊ณ  ๊ฒฐ๋ก  ๋‚ด๋ฆฝ๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ ๋‘ ์ข…๋ฅ˜์˜ ์‹ค์ˆ˜๊ฐ€ ์ƒ๊น๋‹ˆ๋‹ค.

๐Ÿ”ต 1์ข… ์˜ค๋ฅ˜ (๊ฑฐ์ง“ ์–‘์„ฑ, ฮฑ)
์‹ค์ œ๋กœ๋Š” ํšจ๊ณผ๊ฐ€ ์—†๋Š”๋ฐ "B๊ฐ€ ์ด๊ฒผ๋‹ค"๊ณ  ํŒ๋‹จํ•˜๋Š” ์‹ค์ˆ˜. ๊ด€๋ก€์ ์œผ๋กœ ฮฑ = 0.05, ์ฆ‰ ํšจ๊ณผ๊ฐ€ ์—†์„ ๋•Œ ์ž˜๋ชป ์Šน๋ฆฌ๋ฅผ ์„ ์–ธํ•  ํ™•๋ฅ ์„ 5%๋กœ ๋ฌถ์Šต๋‹ˆ๋‹ค.
๐ŸŸ  2์ข… ์˜ค๋ฅ˜ (๊ฑฐ์ง“ ์Œ์„ฑ, ฮฒ)
์‹ค์ œ๋กœ ํšจ๊ณผ๊ฐ€ ์žˆ๋Š”๋ฐ "์ฐจ์ด ์—†์Œ"์œผ๋กœ ๋†“์น˜๋Š” ์‹ค์ˆ˜. ๊ฒ€์ •๋ ฅ(Power) = 1 โˆ’ ฮฒ์ด๋ฉฐ ๊ด€๋ก€์ ์œผ๋กœ 80%๋ฅผ ๋ชฉํ‘œ๋กœ ํ•ฉ๋‹ˆ๋‹ค.
ํšจ๊ณผ ์—†์Œ vs ํšจ๊ณผ ์žˆ์Œ ๋ถ„ํฌ ํŒ์ • ๊ธฐ์ค€์„  Hโ‚€: ์ฐจ์ด ์—†์Œ Hโ‚: ํšจ๊ณผ ์žˆ์Œ ํŒŒ๋ž€ ๊ผฌ๋ฆฌ = ฮฑ (1์ข… ์˜ค๋ฅ˜) ์ฃผํ™ฉ ๊ผฌ๋ฆฌ = ฮฒ (2์ข… ์˜ค๋ฅ˜) 0 ฮด

์œ„ ๊ทธ๋ฆผ์ฒ˜๋Ÿผ ๋‘ ๋ถ„ํฌ๊ฐ€ ๊ฒน์น˜๋Š” ์ •๋„๊ฐ€ ํด์ˆ˜๋ก ๊ตฌ๋ถ„์ด ์–ด๋ ต์Šต๋‹ˆ๋‹ค. ๊ฒน์นจ์„ ์ค„์ด๋Š” ๋ฐฉ๋ฒ•์€ ๋‘ ๊ฐ€์ง€๋ฟ์ž…๋‹ˆ๋‹ค. ํšจ๊ณผ(ฮด)๊ฐ€ ํฌ๊ฑฐ๋‚˜, ํ‘œ๋ณธ์„ ๋Š˜๋ ค ๋ถ„ํฌ์˜ ํญ(ํ‘œ์ค€์˜ค์ฐจ)์„ ์ขํžˆ๊ฑฐ๋‚˜. ๊ทธ๋ž˜์„œ ํ‘œ๋ณธ ํฌ๊ธฐ ๊ณ„์‚ฐ์ด ์‹คํ—˜ ์„ค๊ณ„์˜ ํ•ต์‹ฌ์ด ๋ฉ๋‹ˆ๋‹ค.

p-๊ฐ’์„ ์ •ํ™•ํžˆ ์ดํ•ดํ•˜๊ธฐ

p-๊ฐ’์€ "๊ท€๋ฌด๊ฐ€์„ค์ด ์ฐธ์ด๋ผ๊ณ  ๊ฐ€์ •ํ–ˆ์„ ๋•Œ, ์ง€๊ธˆ ๊ด€์ธก๋œ ๊ฒƒ๋งŒํผ ํ˜น์€ ๊ทธ๋ณด๋‹ค ๊ทน๋‹จ์ ์ธ ์ฐจ์ด๊ฐ€ ๋‚˜์˜ฌ ํ™•๋ฅ "์ž…๋‹ˆ๋‹ค. ํ”ํžˆ ์˜คํ•ดํ•˜๋Š” ๊ฒƒ์ฒ˜๋Ÿผ "B๊ฐ€ ๋” ์ข‹์„ ํ™•๋ฅ "์ด๋‚˜ "๊ฐ€์„ค์ด ํ‹€๋ ธ์„ ํ™•๋ฅ "์ด ์•„๋‹™๋‹ˆ๋‹ค. p = 0.03์ด๋ผ๋Š” ๊ฒƒ์€ "ํšจ๊ณผ๊ฐ€ ์ •๋ง ์—†๋‹ค๋ฉด ์ด๋Ÿฐ ๊ฒฐ๊ณผ๋Š” ๊ฝค ๋“œ๋ฌผ๋‹ค"๋Š” ๋œป์ผ ๋ฟ, ํšจ๊ณผ์˜ ํฌ๊ธฐ๋‚˜ ๋น„์ฆˆ๋‹ˆ์Šค ๊ฐ€์น˜๋ฅผ ๋งํ•ด์ฃผ์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ ๊ฒฐ๊ณผ ๋ณด๊ณ ์—๋Š” p-๊ฐ’๊ณผ ํ•จ๊ป˜ ๋ฐ˜๋“œ์‹œ ์‹ ๋ขฐ๊ตฌ๊ฐ„์„ ๋ถ™์ž…๋‹ˆ๋‹ค. "์ „ํ™˜์œจ +4.1% (95% ์‹ ๋ขฐ๊ตฌ๊ฐ„ +0.6% ~ +7.6%)"์ฒ˜๋Ÿผ ๋ง์ด์ฃ .

์ตœ์†Œ ๊ฐ์ง€ ํšจ๊ณผ(MDE)์™€ ํ‘œ๋ณธ ํฌ๊ธฐ

MDE(Minimum Detectable Effect)๋Š” "์ด ์ •๋„ ์ด์ƒ์˜ ์ฐจ์ด๋Š” ๋†“์น˜์ง€ ์•Š๊ฒ ๋‹ค"๊ณ  ๋ฏธ๋ฆฌ ์ •ํ•˜๋Š” ๊ธฐ์ค€์ž…๋‹ˆ๋‹ค. MDE๋ฅผ ์ž‘๊ฒŒ ์žก์„์ˆ˜๋ก ํ•„์š”ํ•œ ํ‘œ๋ณธ์€ ์ œ๊ณฑ์— ๋ฐ˜๋น„๋ก€ํ•ด ๊ธ‰๊ฒฉํžˆ ๋Š˜์–ด๋‚ฉ๋‹ˆ๋‹ค. ์ดํ•ญ ์ง€ํ‘œ์—์„œ ๊ทธ๋ฃน๋‹น ํ‘œ๋ณธ ํฌ๊ธฐ์˜ ๊ทผ์‚ฌ์‹์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

n (๊ทธ๋ฃน๋‹น) โ‰ˆ (z1โˆ’ฮฑ/2 + z1โˆ’ฮฒ)ยฒ ร— [pโ‚(1โˆ’pโ‚) + pโ‚‚(1โˆ’pโ‚‚)] รท (pโ‚‚ โˆ’ pโ‚)ยฒ

ฮฑ = 0.05(์–‘์ธก)์ด๋ฉด z = 1.96, ๊ฒ€์ •๋ ฅ 80%์ด๋ฉด z = 0.84๋กœ, ๋‘ ๊ฐ’์˜ ํ•ฉ์˜ ์ œ๊ณฑ์€ ์•ฝ 7.84์ž…๋‹ˆ๋‹ค. ์‹ค์ œ๋กœ ๊ณ„์‚ฐํ•ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.

๊ณ„์‚ฐ ์˜ˆ์‹œ: ์ „ํ™˜์œจ 3% ์‡ผํ•‘๋ชฐ ํ˜„์žฌ ๊ตฌ๋งค ์ „ํ™˜์œจ pโ‚ = 3.0%, ์ƒ๋Œ€์ ์œผ๋กœ 10% ๊ฐœ์„ (pโ‚‚ = 3.3%)์„ ๊ฐ์ง€ํ•˜๊ณ  ์‹ถ๋‹ค๊ณ  ํ•ฉ์‹œ๋‹ค.
ยท pโ‚(1โˆ’pโ‚) = 0.03 ร— 0.97 = 0.0291
ยท pโ‚‚(1โˆ’pโ‚‚) = 0.033 ร— 0.967 โ‰ˆ 0.0319
ยท ํ•ฉ โ‰ˆ 0.0610, ์ฐจ์ด์˜ ์ œ๊ณฑ = 0.003ยฒ = 0.000009
ยท n โ‰ˆ 7.84 ร— 0.0610 รท 0.000009 โ‰ˆ ์•ฝ 53,000๋ช… (๊ทธ๋ฃน๋‹น)
์ฆ‰ AยทB ํ•ฉ์ณ ์•ฝ 10๋งŒ 6์ฒœ ๋ช…์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ํ•˜๋ฃจ ์‹คํ—˜ ๋Œ€์ƒ ๋ฐฉ๋ฌธ์ž๊ฐ€ 5์ฒœ ๋ช…์ด๋ผ๋ฉด 3์ฃผ ์ •๋„๊ฐ€ ๊ฑธ๋ฆฌ๋Š” ์…ˆ์ž…๋‹ˆ๋‹ค. ๋งŒ์•ฝ ์ƒ๋Œ€ 5% ๊ฐœ์„ ์„ ๊ฐ์ง€ํ•˜๋ ค ํ•˜๋ฉด ์ฐจ์ด๊ฐ€ ์ ˆ๋ฐ˜์ด ๋˜๋ฏ€๋กœ ํ•„์š” ํ‘œ๋ณธ์€ ๋Œ€๋žต 4๋ฐฐ๋กœ ๋Š˜์–ด๋‚ฉ๋‹ˆ๋‹ค.

์ด ๊ณ„์‚ฐ์ด ์ฃผ๋Š” ํ˜„์‹ค์ ์ธ ๋ฉ”์‹œ์ง€๋Š” ๋ถ„๋ช…ํ•ฉ๋‹ˆ๋‹ค. ์ „ํ™˜์œจ์ด ๋‚ฎ๊ณ  ํŠธ๋ž˜ํ”ฝ์ด ์ ์€ ์‡ผํ•‘๋ชฐ์ผ์ˆ˜๋ก ๋ฏธ์„ธํ•œ UI ๋ณ€๊ฒฝ์„ ๊ฒ€์ฆํ•˜๊ธฐ ์–ด๋ ต๋‹ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์ด๊ฒƒ์ด ์•ž์„œ "์ž‘์€ ๋ชฐ์€ ํฐ ๋ณ€ํ™”๋ฅผ ํ…Œ์ŠคํŠธํ•˜๋ผ"๊ณ  ๊ถŒํ•œ ์ด์œ ์ž…๋‹ˆ๋‹ค.

์‹คํ—˜ ๊ธฐ๊ฐ„ ์ •ํ•˜๊ธฐ

๐Ÿ“…์ตœ์†Œ 1~2์ฃผ, ์ฃผ ๋‹จ์œ„๋กœ์‡ผํ•‘ ํ–‰๋™์€ ์š”์ผ๋ณ„ ํŒจํ„ด์ด ๋šœ๋ ทํ•ฉ๋‹ˆ๋‹ค(์ฃผ๋งยท์›”๊ธ‰๋‚  ๋“ฑ). ํ‘œ๋ณธ์ด ์ผ์ฐ ์ฐจ๋„ ์ตœ์†Œ ํ•œ ์ฃผ์˜ ์ฃผ๊ธฐ๋ฅผ ์˜จ์ „ํžˆ ํฌํ•จ์‹œํ‚ค๋Š” ๊ฒƒ์ด ์ผ๋ฐ˜์ ์ธ ๊ถŒ์žฅ์ž…๋‹ˆ๋‹ค.
๐ŸŽ‰๋Œ€ํ˜• ์ด๋ฒคํŠธ ๊ธฐ๊ฐ„ ์ฃผ์˜๋ธ”๋ž™ํ”„๋ผ์ด๋ฐ์ดยท๋ช…์ ˆ ํŠน๊ฐ€ ๊ธฐ๊ฐ„์˜ ์‚ฌ์šฉ์ž๋Š” ํ‰์†Œ์™€ ํ–‰๋™์ด ๋‹ค๋ฆ…๋‹ˆ๋‹ค. ๊ทธ ๊ธฐ๊ฐ„์˜ ๊ฒฐ๊ณผ๊ฐ€ ํ‰์‹œ์—๋„ ํ†ตํ•œ๋‹ค๋Š” ๋ณด์žฅ์ด ์—†์Šต๋‹ˆ๋‹ค.
๐Ÿ”๊ตฌ๋งค ์ฃผ๊ธฐ ๊ณ ๋ ค๊ฐ€๊ตฌยท๊ฐ€์ „์ฒ˜๋Ÿผ ๊ณ ๋ฏผ ๊ธฐ๊ฐ„์ด ๊ธด ์ƒํ’ˆ๊ตฐ์€ ๋…ธ์ถœ ์งํ›„๊ฐ€ ์•„๋‹Œ ๋ฉฐ์น  ๋’ค ๊ตฌ๋งค๊ฐ€ ๋งŽ์•„ ๋” ๊ธด ๊ด€์ฐฐ ๊ธฐ๊ฐ„์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

๋นˆ๋„์ฃผ์˜ vs ๋ฒ ์ด์ง€์•ˆ

์ตœ๊ทผ ๋งŽ์€ ์ƒ์šฉ ๋„๊ตฌ๊ฐ€ ๋ฒ ์ด์ง€์•ˆ ๋ฐฉ์‹์œผ๋กœ "B๊ฐ€ A๋ณด๋‹ค ๋‚˜์„ ํ™•๋ฅ  95%" ๊ฐ™์€ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค. ์ง๊ด€์ ์œผ๋กœ ์ดํ•ดํ•˜๊ธฐ ์‰ฝ๋‹ค๋Š” ์žฅ์ ์ด ์žˆ์ง€๋งŒ, ์‚ฌ์ „๋ถ„ํฌ ์„ค์ •๊ณผ ์ค‘๋‹จ ๊ทœ์น™์— ๋”ฐ๋ผ ๊ฒฐ๊ณผ๊ฐ€ ๋‹ฌ๋ผ์งˆ ์ˆ˜ ์žˆ๊ณ , "ํ™•๋ฅ  95%"๊ฐ€ ๋งˆ๋ฒ•์ฒ˜๋Ÿผ ์—ฟ๋ณด๊ธฐ(peeking) ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•ด ์ฃผ์ง€๋Š” ์•Š์Šต๋‹ˆ๋‹ค. ์–ด๋–ค ๋ฐฉ์‹์ด๋“  ์ค‘์š”ํ•œ ๊ฒƒ์€ ํŒ์ • ๊ธฐ์ค€์„ ์‹คํ—˜ ์‹œ์ž‘ ์ „์— ๊ณ ์ •ํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค.

5. ์‹คํ—˜์„ ๋ง์น˜๋Š” ๋Œ€ํ‘œ ํ•จ์ •๋“ค โš ๏ธ

A/B ํ…Œ์ŠคํŠธ๋Š” "๋Œ๋ฆฌ๊ธฐ๋Š” ์‰ฝ์ง€๋งŒ, ์ œ๋Œ€๋กœ ๋Œ๋ฆฌ๊ธฐ๋Š” ์–ด๋ ต๋‹ค"๋Š” ๋ง์„ ๋“ฃ์Šต๋‹ˆ๋‹ค. ํ˜„์—…์—์„œ ๋ฐ˜๋ณต์ ์œผ๋กœ ๋“ฑ์žฅํ•˜๋Š” ํ•จ์ •์„ ์ •๋ฆฌํ–ˆ์Šต๋‹ˆ๋‹ค.

โ‘  ์—ฟ๋ณด๊ธฐ(Peeking)์™€ ์กฐ๊ธฐ ์ข…๋ฃŒ

๋งค์ผ ๋Œ€์‹œ๋ณด๋“œ๋ฅผ ๋ณด๋‹ค๊ฐ€ p-๊ฐ’์ด 0.05 ์•„๋ž˜๋กœ ๋‚ด๋ ค๊ฐ„ ์ˆœ๊ฐ„ "์ด๊ฒผ๋‹ค!" ํ•˜๊ณ  ์‹คํ—˜์„ ๋ฉˆ์ถ”๋Š” ๊ฒƒ. ๊ฐ€์žฅ ํ”ํ•˜๊ณ  ๊ฐ€์žฅ ์œ„ํ—˜ํ•œ ์‹ค์ˆ˜์ž…๋‹ˆ๋‹ค. p-๊ฐ’์€ ์‹คํ—˜ ๋„์ค‘ ํฌ๊ฒŒ ์ถœ๋ ์ด๊ธฐ ๋•Œ๋ฌธ์— ์—ฌ๋Ÿฌ ๋ฒˆ ํ™•์ธํ•˜๋ฉฐ ์ฒ˜์Œ ์œ ์˜ํ•ด์ง„ ์ˆœ๊ฐ„ ๋ฉˆ์ถ”๋ฉด, ์‹ค์ œ 1์ข… ์˜ค๋ฅ˜์œจ์€ ์„ค์ •ํ•œ 5%๋ณด๋‹ค ํ›จ์”ฌ ๋†’์•„์ง‘๋‹ˆ๋‹ค.

ํ•ด๊ฒฐ์ฑ… ยท ํ‘œ๋ณธ ํฌ๊ธฐ์™€ ๊ธฐ๊ฐ„์„ ๋ฏธ๋ฆฌ ์ •ํ•˜๊ณ  ๊ทธ๋•Œ๊นŒ์ง€ ํŒ์ •์„ ๋ฏธ๋ฃฌ๋‹ค(๊ณ ์ • ํ‘œ๋ณธ ์„ค๊ณ„).
ยท ์ค‘๊ฐ„์— ๊ผญ ๋ด์•ผ ํ•œ๋‹ค๋ฉด ์ˆœ์ฐจ ๊ฒ€์ •(Sequential Testing) ๋ฐฉ์‹์„ ์‚ฌ์šฉํ•œ๋‹ค. O'Brien-Fleming ๊ฐ™์€ ์•ŒํŒŒ ์†Œ๋น„ ํ•จ์ˆ˜๋‚˜ ํ•ญ์ƒ ์œ ํšจํ•œ(always-valid) p-๊ฐ’ ๊ธฐ๋ฒ•์€ ์ค‘๊ฐ„ ํ™•์ธ์„ ํ—ˆ์šฉํ•˜๋ฉด์„œ๋„ ์˜ค๋ฅ˜์œจ์„ ํ†ต์ œํ•ฉ๋‹ˆ๋‹ค.
ยท ๋‹จ, ๊ฐ€๋“œ๋ ˆ์ผ ์ง€ํ‘œ์˜ ์‹ฌ๊ฐํ•œ ์•…ํ™”(๊ฒฐ์ œ ์˜ค๋ฅ˜ ๊ธ‰์ฆ ๋“ฑ)๋Š” ์–ธ์ œ๋“  ์‹คํ—˜์„ ์ค‘๋‹จํ•  ์‚ฌ์œ ์ž…๋‹ˆ๋‹ค.

โ‘ก ํ‘œ๋ณธ ๋น„์œจ ๋ถˆ์ผ์น˜(SRM)

50:50์œผ๋กœ ๋‚˜๋ˆด๋Š”๋ฐ ์‹ค์ œ ์œ ์ž…์ด 50,000๋ช… ๋Œ€ 48,800๋ช…์ด๋ผ๋ฉด "๊ทธ ์ •๋„์•ผ ์šฐ์—ฐ์ด์ง€"๋ผ๊ณ  ๋„˜๊ธฐ๊ธฐ ์‰ฝ์Šต๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์นด์ด์ œ๊ณฑ ์ ํ•ฉ๋„ ๊ฒ€์ •์„ ํ•ด๋ณด๋ฉด ๋‹ค๋ฆ…๋‹ˆ๋‹ค.

๊ธฐ๋Œ€๊ฐ’ ๊ฐ 49,400 โ†’ ฯ‡ยฒ = (600ยฒ + 600ยฒ) รท 49,400 โ‰ˆ 14.6 โ†’ p โ‰ˆ 0.0001

์ด ์ •๋„ ๋ถˆ์ผ์น˜๋Š” ์šฐ์—ฐ์œผ๋กœ ๋ณด๊ธฐ ์–ด๋ ต๊ณ , ๋ฐฐ์ •์ด๋‚˜ ๋กœ๊น… ์–ด๋”˜๊ฐ€๊ฐ€ ๊ณ ์žฅ ๋‚ฌ๋‹ค๋Š” ์‹ ํ˜ธ์ž…๋‹ˆ๋‹ค. ํ”ํ•œ ์›์ธ์€ B์•ˆ์˜ ๋ฌด๊ฑฐ์šด ์Šคํฌ๋ฆฝํŠธ ๋•Œ๋ฌธ์— ํŽ˜์ด์ง€๊ฐ€ ๋Šฆ๊ฒŒ ๋– ์„œ ๋กœ๊ทธ๊ฐ€ ์ฐํžˆ๊ธฐ ์ „์— ์‚ฌ์šฉ์ž๊ฐ€ ์ดํƒˆํ•˜๋Š” ๊ฒฝ์šฐ, ๋ด‡ ํ•„ํ„ฐ๋ง์ด ํ•œ์ชฝ์—๋งŒ ๋‹ค๋ฅด๊ฒŒ ์ž‘๋™ํ•˜๋Š” ๊ฒฝ์šฐ, ๋ฆฌ๋‹ค์ด๋ ‰ํŠธ ๋ฐฉ์‹ ํ…Œ์ŠคํŠธ์—์„œ ํ•œ์ชฝ๋งŒ ์ถ”๊ฐ€ ๋ฆฌ๋‹ค์ด๋ ‰ํŠธ๊ฐ€ ๋ฐœ์ƒํ•˜๋Š” ๊ฒฝ์šฐ ๋“ฑ์ž…๋‹ˆ๋‹ค. SRM์ด ๋ฐœ๊ฒฌ๋˜๋ฉด ๊ฒฐ๊ณผ๋ฅผ ํ•ด์„ํ•˜์ง€ ๋ง๊ณ  ์›์ธ๋ถ€ํ„ฐ ์ฐพ์•„์•ผ ํ•ฉ๋‹ˆ๋‹ค.

โ‘ข ๋‹ค์ค‘ ๋น„๊ต ๋ฌธ์ œ

์ง€ํ‘œ 20๊ฐœ๋ฅผ ๋™์‹œ์— ๋ณด๋ฉด, ์•„๋ฌด ํšจ๊ณผ๊ฐ€ ์—†์–ด๋„ ฮฑ = 0.05 ๊ธฐ์ค€์—์„œ ํ‰๊ท  1๊ฐœ ์ •๋„๋Š” ์šฐ์—ฐํžˆ "์œ ์˜"ํ•˜๊ฒŒ ๋‚˜์˜ต๋‹ˆ๋‹ค. ์„ธ๊ทธ๋จผํŠธ(๊ธฐ๊ธฐยท์„ฑ๋ณ„ยท์ง€์—ญ)๋ฅผ ์ž˜๊ฒŒ ์ชผ๊ฐœ ๋ณผ ๋•Œ๋„ ๋งˆ์ฐฌ๊ฐ€์ง€์ž…๋‹ˆ๋‹ค. ๋ชฉํ‘œ ์ง€ํ‘œ๋ฅผ ํ•˜๋‚˜๋กœ ์ •ํ•˜๊ณ , ๋‚˜๋จธ์ง€๋Š” ํƒ์ƒ‰์šฉ์œผ๋กœ ํ•ด์„ํ•˜๊ฑฐ๋‚˜ ๋ณธํŽ˜๋กœ๋‹ˆยท๋ฒค์•ผ๋ฏธ๋‹ˆ-ํ˜ธํ๋ฒ ๋ฅดํฌ(FDR) ๊ฐ™์€ ๋ณด์ •์„ ์ ์šฉํ•ฉ๋‹ˆ๋‹ค. ์„ธ๊ทธ๋จผํŠธ์—์„œ ๋ฐœ๊ฒฌํ•œ ํšจ๊ณผ๋Š” ์ƒˆ ์‹คํ—˜์œผ๋กœ ์žฌ๊ฒ€์ฆํ•˜๋Š” ๊ฒƒ์ด ์›์น™์ž…๋‹ˆ๋‹ค.

โ‘ฃ ์‹ ๊ธฐ ํšจ๊ณผ์™€ ์ดˆ๋‘ ํšจ๊ณผ

โœจ ์‹ ๊ธฐ ํšจ๊ณผ (Novelty)
์ƒˆ๋กœ์šด ๋””์ž์ธ์ด๋ผ ๊ธฐ์กด ์‚ฌ์šฉ์ž๊ฐ€ ํ˜ธ๊ธฐ์‹ฌ์— ๋” ํด๋ฆญํ•˜๋Š” ํ˜„์ƒ. ์ดˆ๋ฐ˜ ์ˆ˜์น˜๊ฐ€ ๋ถ€ํ’€๋ ค์กŒ๋‹ค๊ฐ€ ์‹œ๊ฐ„์ด ์ง€๋‚˜๋ฉฐ ์‚ฌ๋ผ์ง‘๋‹ˆ๋‹ค.
๐Ÿงฑ ์ดˆ๋‘ ํšจ๊ณผ (Primacy)
์ต์ˆ™ํ•œ ํ™”๋ฉด์ด ๋ฐ”๋€Œ์–ด ๊ธฐ์กด ์‚ฌ์šฉ์ž๊ฐ€ ์ฒ˜์Œ์—” ํ—ค๋งค๋‹ค ์ ์‘ ํ›„ ์„ฑ๊ณผ๊ฐ€ ์˜ค๋ฅด๋Š” ํ˜„์ƒ. ์ดˆ๋ฐ˜ ๊ฒฐ๊ณผ๊ฐ€ ๊ณผ์†Œํ‰๊ฐ€๋ฉ๋‹ˆ๋‹ค.

๋‘ ํšจ๊ณผ ๋ชจ๋‘ ๋‚ ์งœ๋ณ„ ์ฒ˜๋ฆฌ ํšจ๊ณผ ์ถ”์ด๋ฅผ ๊ทธ๋ ค๋ณด๊ณ , ์‹ ๊ทœ ๋ฐฉ๋ฌธ์ž์™€ ์žฌ๋ฐฉ๋ฌธ์ž๋ฅผ ๋‚˜๋ˆ  ๋ณด๋ฉด ์ง„๋‹จํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์‹ ๊ทœ ๋ฐฉ๋ฌธ์ž์—๊ฒŒ๋„ ๋น„์Šทํ•œ ํšจ๊ณผ๊ฐ€ ์žˆ๋‹ค๋ฉด ์‹ ๊ธฐ ํšจ๊ณผ์ผ ๊ฐ€๋Šฅ์„ฑ์ด ๋‚ฎ์Šต๋‹ˆ๋‹ค.

โ‘ค ๊ฐ„์„ญ๊ณผ ์˜ค์—ผ

ํ•œ ์‚ฌ์šฉ์ž๊ฐ€ PC์—์„œ๋Š” A, ๋ชจ๋ฐ”์ผ ์•ฑ์—์„œ๋Š” B๋ฅผ ๋ณธ๋‹ค๋ฉด ๊ฒฐ๊ณผ๊ฐ€ ์„ž์ž…๋‹ˆ๋‹ค. ๋กœ๊ทธ์ธ ๊ธฐ๋ฐ˜ ์‚ฌ์šฉ์ž ID๋กœ ๋ฐฐ์ •ํ•˜๋ฉด ๊ต์ฐจ ๊ธฐ๊ธฐ ์ผ๊ด€์„ฑ์„ ๋†’์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ ์žฌ๊ณ ๊ฐ€ ํ•œ์ •๋œ ์ƒํ’ˆ์˜ ๋…ธ์ถœ ์ˆœ์„œ๋ฅผ ๋ฐ”๊พธ๋Š” ์‹คํ—˜์ฒ˜๋Ÿผ ๋‘ ๊ทธ๋ฃน์ด ๊ฐ™์€ ์ž์›์„ ๋‘๊ณ  ๊ฒฝ์Ÿํ•˜๋Š” ๊ฒฝ์šฐ(์˜ˆ: B๊ทธ๋ฃน์ด ์ธ๊ธฐ ์ƒํ’ˆ์„ ๋จผ์ € ์‚ฌ๋ฒ„๋ ค A๊ทธ๋ฃน์€ ํ’ˆ์ ˆ์„ ๋ด„)์—๋Š” ๊ฒฐ๊ณผ๊ฐ€ ์™œ๊ณก๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฐ€๊ฒฉยท์žฌ๊ณ ยท๋งˆ์ผ“ํ”Œ๋ ˆ์ด์Šค ๋งค์นญ ์‹คํ—˜์€ ์ด๋Ÿฐ ๊ฐ„์„ญ ๋ฌธ์ œ๋ฅผ ํŠนํžˆ ์‹ ์ค‘ํžˆ ๋‹ค๋ค„์•ผ ํ•ฉ๋‹ˆ๋‹ค.

โ‘ฅ ์ƒ์กด ํŽธํ–ฅ๊ณผ ํŠธ๋ฆฌ๊ฑฐ ๋ˆ„๋ฝ

๊ฒฐ์ œ ํŽ˜์ด์ง€์˜ ๋ณ€๊ฒฝ์„ ํ…Œ์ŠคํŠธํ•˜๋Š”๋ฐ ๋ชจ๋“  ๋ฐฉ๋ฌธ์ž๋ฅผ ๋ถ„๋ชจ๋กœ ๋„ฃ์œผ๋ฉด, ๊ฒฐ์ œ ํŽ˜์ด์ง€์— ์˜ค์ง€๋„ ์•Š์€ ๋Œ€๋‹ค์ˆ˜ ์‚ฌ์šฉ์ž๊ฐ€ "ํšจ๊ณผ 0"์œผ๋กœ ์„ž์—ฌ ์‹ ํ˜ธ๊ฐ€ ํฌ์„๋ฉ๋‹ˆ๋‹ค. ์‹ค์ œ๋กœ ๋ณ€๊ฒฝ ์‚ฌํ•ญ์— ๋…ธ์ถœ๋œ ์‚ฌ์šฉ์ž๋งŒ ๋ถ„์„ํ•˜๋Š” ํŠธ๋ฆฌ๊ฑฐ ๋ถ„์„(Triggered Analysis)์„ ์ ์šฉํ•˜๋ฉด ๊ฒ€์ •๋ ฅ์ด ๋†’์•„์ง‘๋‹ˆ๋‹ค. ๋‹จ, ํŠธ๋ฆฌ๊ฑฐ ์กฐ๊ฑด์€ A์™€ B์—์„œ ๋™์ผํ•˜๊ฒŒ ํŒ์ •๋˜์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค(A์—์„œ๋„ "B์˜€๋‹ค๋ฉด ๋ฐ”๋€Œ์—ˆ์„ ์ง€์ "์— ๋„๋‹ฌํ•œ ์‚ฌ์šฉ์ž๋ฅผ ๊ธฐ๋ก).

A/A ํ…Œ์ŠคํŠธ๋กœ ํ”Œ๋žซํผ๋ถ€ํ„ฐ ๊ฒ€์ฆํ•˜๊ธฐ ์–‘์ชฝ์— ์™„์ „ํžˆ ๊ฐ™์€ ํ™”๋ฉด์„ ๋ณด์—ฌ์ฃผ๋Š” A/A ํ…Œ์ŠคํŠธ๋ฅผ ๋Œ๋ ค๋ณด์„ธ์š”. ์ •์ƒ์ ์ธ ์‹œ์Šคํ…œ์ด๋ผ๋ฉด SRM์ด ์—†๊ณ , ์—ฌ๋Ÿฌ ๋ฒˆ ๋ฐ˜๋ณตํ•  ๋•Œ ์•ฝ 5% ์ •๋„๋งŒ "์œ ์˜"ํ•˜๊ฒŒ ๋‚˜์™€์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์ด๋ณด๋‹ค ํ›จ์”ฌ ์ž์ฃผ ์œ ์˜ํ•˜๊ฒŒ ๋‚˜์˜จ๋‹ค๋ฉด ๋ถ„์‚ฐ ๊ณ„์‚ฐ์ด๋‚˜ ๋ฐฐ์ • ๋กœ์ง์— ๋ฌธ์ œ๊ฐ€ ์žˆ๋‹ค๋Š” ๋œป์ž…๋‹ˆ๋‹ค. ์ƒˆ ์‹คํ—˜ ํ”Œ๋žซํผ์„ ๋„์ž…ํ–ˆ๋‹ค๋ฉด ์ฒซ ์‹คํ—˜์€ A/A๋กœ ์‹œ์ž‘ํ•˜๋Š” ๊ฒƒ์ด ์ •์„์ž…๋‹ˆ๋‹ค.

6. ๊ฐœ๋ฐœ์ž๋ฅผ ์œ„ํ•œ ๊ตฌํ˜„ ์•„ํ‚คํ…์ฒ˜ ๐Ÿ› ๏ธ

์ด์ œ ์‡ผํ•‘๋ชฐ ๊ฐœ๋ฐœ ๊ด€์ ์—์„œ ์‹คํ—˜์„ ์‹ค์ œ๋กœ ์–ด๋–ป๊ฒŒ ๊ตฌํ˜„ํ•˜๋Š”์ง€ ์‚ดํŽด๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค. ๊ตฌํ˜„ ๋ฐฉ์‹์€ ํฌ๊ฒŒ ํด๋ผ์ด์–ธํŠธ ์‚ฌ์ด๋“œ์™€ ์„œ๋ฒ„ ์‚ฌ์ด๋“œ๋กœ ๋‚˜๋‰ฉ๋‹ˆ๋‹ค.

ํ•ญ๋ชฉํด๋ผ์ด์–ธํŠธ ์‚ฌ์ด๋“œ์„œ๋ฒ„ ์‚ฌ์ด๋“œ
์ž‘๋™ ๋ฐฉ์‹ํŽ˜์ด์ง€ ๋กœ๋“œ ํ›„ JS๊ฐ€ DOM์„ ์ˆ˜์ •์„œ๋ฒ„๊ฐ€ ๋ฐฐ์ • ํ›„ ํ•ด๋‹น ๋ฒ„์ „์˜ ํ™”๋ฉดยท๋ฐ์ดํ„ฐ๋ฅผ ๋ Œ๋”๋ง
์žฅ์ ๋น„์ฃผ์–ผ ์—๋””ํ„ฐ๋กœ ๋น„๊ฐœ๋ฐœ์ž๋„ ๋น ๋ฅด๊ฒŒ ์‹คํ—˜ ๊ฐ€๋Šฅ๊นœ๋นก์ž„ ์—†์Œ, ์„ฑ๋Šฅ ์šฐ์ˆ˜, ๊ฐ€๊ฒฉยท๊ฒ€์ƒ‰ ์•Œ๊ณ ๋ฆฌ์ฆ˜ยท์ถ”์ฒœ ๋กœ์ง๊นŒ์ง€ ์‹คํ—˜ ๊ฐ€๋Šฅ
๋‹จ์ ์›๋ณธ์ด ์ž ๊น ๋ณด์˜€๋‹ค ๋ฐ”๋€Œ๋Š” ๊นœ๋นก์ž„(FOOC), ์Šคํฌ๋ฆฝํŠธ ๋กœ๋”ฉ ์ง€์—ฐ, ๊ด‘๊ณ  ์ฐจ๋‹จ๊ธฐ ์˜ํ–ฅ๊ฐœ๋ฐœยท๋ฐฐํฌ ๊ณต์ˆ˜๊ฐ€ ํ•„์š”, ์‹คํ—˜ ์ฝ”๋“œ ๊ด€๋ฆฌ ๋ถ€๋‹ด
์ ํ•ฉํ•œ ์‹คํ—˜๋ฌธ๊ตฌ, ์ƒ‰์ƒ, ๋ฐฐ๋„ˆ, ๊ฐ„๋‹จํ•œ ๋ ˆ์ด์•„์›ƒ๊ฒฐ์ œ ํ”Œ๋กœ์šฐ, ๋ฐฐ์†ก๋น„ ์ •์ฑ… ๋…ธ์ถœ, ์ถ”์ฒœยท์ •๋ ฌ, ์•ฑ ํ™”๋ฉด

๊ฒฐ์ •๋ก ์  ํ•ด์‹œ ๊ธฐ๋ฐ˜ ๋ฐฐ์ •

๋ฐฐ์ •์€ ๋งค๋ฒˆ ๋žœ๋ค ํ•จ์ˆ˜๋ฅผ ๋Œ๋ฆฌ๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ์‚ฌ์šฉ์ž ID์™€ ์‹คํ—˜ ํ‚ค๋ฅผ ํ•ด์‹œํ•ด์„œ ๋ฒ„ํ‚ท์„ ์ •ํ•˜๋Š” ๋ฐฉ์‹์ด ํ‘œ์ค€์ž…๋‹ˆ๋‹ค. ๊ฐ™์€ ์‚ฌ์šฉ์ž๋Š” ์–ธ์ œ ์ ‘์†ํ•ด๋„ ๊ฐ™์€ ๊ทธ๋ฃน์— ๋“ค์–ด๊ฐ€๊ณ (์ผ๊ด€์„ฑ), ๋ณ„๋„์˜ ๋ฐฐ์ • ํ…Œ์ด๋ธ”์„ ์ €์žฅํ•˜์ง€ ์•Š์•„๋„ ๋˜๋ฉฐ, ์‹คํ—˜๋งˆ๋‹ค ํ‚ค๊ฐ€ ๋‹ค๋ฅด๋ฏ€๋กœ ์‹คํ—˜ ๊ฐ„ ๋ฐฐ์ •์ด ์„œ๋กœ ๋…๋ฆฝ์ ์ด ๋ฉ๋‹ˆ๋‹ค.

// Node.js ์˜ˆ์‹œ: ๊ฒฐ์ •๋ก ์  ๋ฒ„ํ‚ท ๋ฐฐ์ •
const crypto = require('crypto');

function getBucket(userId, experimentKey) {
  const hash = crypto
    .createHash('md5')
    .update(`${experimentKey}:${userId}`)
    .digest();
  // ์•ž 4๋ฐ”์ดํŠธ๋ฅผ ์ •์ˆ˜๋กœ ์ฝ์–ด 0~9999 ๋ฒ„ํ‚ท์œผ๋กœ ๋ณ€ํ™˜
  return hash.readUInt32BE(0) % 10000;
}

function assignVariant(userId, experiment) {
  const bucket = getBucket(userId, experiment.key);
  // ํŠธ๋ž˜ํ”ฝ ๋น„์œจ: ์‹คํ—˜ ๋Œ€์ƒ 20%๋งŒ ์ฐธ์—ฌ
  if (bucket >= experiment.trafficPercent * 100) return null;
  // ์ฐธ์—ฌ์ž ์ค‘ ์ ˆ๋ฐ˜์”ฉ A/B
  return (bucket % 2 === 0) ? 'control' : 'treatment';
}

const exp = { key: 'pdp_sticky_buy_bar_v1', trafficPercent: 20 };
const variant = assignVariant('user_83721', exp);
// ๋…ธ์ถœ ์‹œ์ ์— ๋ฐ˜๋“œ์‹œ ์ด๋ฒคํŠธ ๋กœ๊น…
if (variant) logExposure('user_83721', exp.key, variant);

์œ„ ์ฝ”๋“œ์—์„œ ์‹คํ—˜ ํ‚ค์— ๋ฒ„์ „(_v1)์„ ๋ถ™์ธ ๋ฐ์—๋Š” ์ด์œ ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค. ์‹คํ—˜ ๋„์ค‘ ๋ฒ„๊ทธ๋ฅผ ๊ณ ์น˜๊ณ  ๋‹ค์‹œ ์‹œ์ž‘ํ•  ๋•Œ ํ‚ค๋ฅผ ๋ฐ”๊พธ๋ฉด ์‚ฌ์šฉ์ž๊ฐ€ ์ƒˆ๋กœ ์„ž์—ฌ, ์ด์ „ ๋…ธ์ถœ์˜ ์˜ํ–ฅ(์ด์›” ํšจ๊ณผ)์„ ์ค„์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ ์‹ค์ œ ์„œ๋น„์Šค์—์„œ๋Š” MD5 ๋Œ€์‹  MurmurHash์ฒ˜๋Ÿผ ๋น ๋ฅธ ๋น„์•”ํ˜ธํ™” ํ•ด์‹œ๋ฅผ ์“ฐ๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์Šต๋‹ˆ๋‹ค. ์ค‘์š”ํ•œ ๊ฒƒ์€ ์ถœ๋ ฅ์ด ๊ณ ๋ฅด๊ฒŒ ๋ถ„ํฌํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค.

๋น„๋กœ๊ทธ์ธ ์‚ฌ์šฉ์ž ์ฒ˜๋ฆฌ

์‡ผํ•‘๋ชฐ ๋ฐฉ๋ฌธ์ž ์ƒ๋‹น์ˆ˜๋Š” ๋กœ๊ทธ์ธ ์—†์ด ๋‘˜๋Ÿฌ๋ด…๋‹ˆ๋‹ค. ์ด ๊ฒฝ์šฐ 1st-party ์ฟ ํ‚ค๋‚˜ ๋กœ์ปฌ ์Šคํ† ๋ฆฌ์ง€์— ์ต๋ช… ID๋ฅผ ๋ฐœ๊ธ‰ํ•ด ๋ฐฐ์ • ํ‚ค๋กœ ์”๋‹ˆ๋‹ค. ๋‹ค๋งŒ ์ฟ ํ‚ค ์‚ญ์ œยท๋ธŒ๋ผ์šฐ์ € ๋ณ€๊ฒฝ ์‹œ ๋‹ค๋ฅธ ๊ทธ๋ฃน์— ๋ฐฐ์ •๋  ์ˆ˜ ์žˆ๊ณ , ์‚ฌํŒŒ๋ฆฌ์˜ ITP์ฒ˜๋Ÿผ ๋ธŒ๋ผ์šฐ์ € ์ •์ฑ…์— ๋”ฐ๋ผ ํด๋ผ์ด์–ธํŠธ์—์„œ ์„ค์ •ํ•œ ์ฟ ํ‚ค์˜ ์ˆ˜๋ช…์ด ์ œํ•œ๋  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ, ๊ฐ€๋Šฅํ•˜๋ฉด ์„œ๋ฒ„์—์„œ ๋ฐœ๊ธ‰ํ•˜๋Š” 1st-party ์ฟ ํ‚ค๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ์ด ์•ˆ์ •์ ์ž…๋‹ˆ๋‹ค. ๋กœ๊ทธ์ธ ์‹œ์ ์— ์ต๋ช… ID์™€ ํšŒ์› ID๋ฅผ ์—ฐ๊ฒฐํ•˜๋Š” ์ •์ฑ…๋„ ๋ฏธ๋ฆฌ ์ •ํ•ด๋‘์„ธ์š”.

๋…ธ์ถœ ๋กœ๊น…: ์–ธ์ œ ๊ธฐ๋กํ•  ๊ฒƒ์ธ๊ฐ€

๋ฐฐ์ •(Assignment)๊ณผ ๋…ธ์ถœ(Exposure) ๊ตฌ๋ถ„ โ€” ์‚ฌ์šฉ์ž๊ฐ€ ๊ทธ๋ฃน์— ๋ฐฐ์ •๋œ ๊ฒƒ๊ณผ ์‹ค์ œ๋กœ ๋ณ€๊ฒฝ๋œ ํ™”๋ฉด์„ ๋ณธ ๊ฒƒ์€ ๋‹ค๋ฆ…๋‹ˆ๋‹ค. ๋ถ„์„์˜ ๊ธฐ์ค€์€ "์‹ค์ œ๋กœ ์‹คํ—˜ ์ง€์ ์— ๋„๋‹ฌํ–ˆ์„ ๋•Œ" ๋‚จ๊ธฐ๋Š” ๋…ธ์ถœ ์ด๋ฒคํŠธ์ž…๋‹ˆ๋‹ค.
์–‘์ชฝ ๊ทธ๋ฃน ๋ชจ๋‘ ๊ฐ™์€ ์ง€์ ์—์„œ ๊ธฐ๋ก โ€” ๋Œ€์กฐ๊ตฐ๋„ "B์˜€๋‹ค๋ฉด ๋ฐ”๋€Œ์—ˆ์„ ์ง€์ "์—์„œ ๋…ธ์ถœ ์ด๋ฒคํŠธ๋ฅผ ๋‚จ๊ฒจ์•ผ ํŠธ๋ฆฌ๊ฑฐ ๋ถ„์„์ด ๊ณต์ •ํ•ด์ง‘๋‹ˆ๋‹ค.
๊ตฌ๋งค ์ด๋ฒคํŠธ์™€ ์กฐ์ธ ๊ฐ€๋Šฅํ•˜๊ฒŒ โ€” ๋…ธ์ถœ ๋กœ๊ทธ์—๋Š” ์‚ฌ์šฉ์ž ID, ์‹คํ—˜ ํ‚ค, ๊ทธ๋ฃน, ํƒ€์ž„์Šคํƒฌํ”„๋ฅผ ๋‚จ๊ธฐ๊ณ , ์ฃผ๋ฌธ ๋ฐ์ดํ„ฐ๋Š” ์„œ๋ฒ„์˜ ์ฃผ๋ฌธ DB ๊ธฐ์ค€(ํด๋ผ์ด์–ธํŠธ ํ”ฝ์…€์ด ์•„๋‹Œ)์œผ๋กœ ๊ฒฐํ•ฉํ•ด์•ผ ๊ด‘๊ณ  ์ฐจ๋‹จ๊ธฐยท๋„คํŠธ์›Œํฌ ์˜ค๋ฅ˜๋กœ ์ธํ•œ ๋ˆ„๋ฝ์„ ํ”ผํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊นœ๋นก์ž„(Flicker) ์ค„์ด๊ธฐ

ํด๋ผ์ด์–ธํŠธ ์‚ฌ์ด๋“œ ์‹คํ—˜์˜ ๊ณ ์งˆ๋ณ‘์ธ ๊นœ๋นก์ž„์€ ์‚ฌ์šฉ์ž ๊ฒฝํ—˜์„ ํ•ด์น  ๋ฟ ์•„๋‹ˆ๋ผ ์‹คํ—˜ ๊ฒฐ๊ณผ ์ž์ฒด๋ฅผ ์˜ค์—ผ์‹œํ‚ต๋‹ˆ๋‹ค. B์•ˆ ์‚ฌ์šฉ์ž๋งŒ ์›๋ณธ์„ ์ž ๊น ๋ณด๊ณ  ๋ฐ”๋€Œ๋Š” ํ™”๋ฉด์„ ๊ฒฝํ—˜ํ•˜๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ๋Œ€์‘ ๋ฐฉ๋ฒ•์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

โšก์—ฃ์ง€์—์„œ ๋ฐฐ์ •CDN์˜ ์—ฃ์ง€ ํ•จ์ˆ˜(์˜ˆ: Cloudflare Workers, Vercel Edge Middleware)์—์„œ ์ฟ ํ‚ค๋กœ ๊ทธ๋ฃน์„ ์ •ํ•˜๊ณ , ํ•ด๋‹น ๋ฒ„์ „ HTML์„ ๋ฐ”๋กœ ๋‚ด๋ ค์ฃผ๋ฉด ๊นœ๋นก์ž„์ด ์‚ฌ๋ผ์ง‘๋‹ˆ๋‹ค.
๐Ÿ™ˆ์•ˆํ‹ฐ ํ”Œ๋ฆฌ์ปค ์Šค๋‹ˆํŽซ์‹คํ—˜ ๋Œ€์ƒ ์˜์—ญ๋งŒ ์งง๊ฒŒ ์ˆจ๊ฒผ๋‹ค๊ฐ€ ์ ์šฉ ํ›„ ๋ณด์—ฌ์ฃผ๋Š” ๋ฐฉ๋ฒ•. ๋‹จ, ํƒ€์ž„์•„์›ƒ์„ ๋ฐ˜๋“œ์‹œ ๋‘์–ด ์Šคํฌ๋ฆฝํŠธ ์‹คํŒจ ์‹œ ํ™”๋ฉด์ด ๋น„์ง€ ์•Š๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค.
๐ŸงฉSSR ํ”„๋ ˆ์ž„์›Œํฌ ํ™œ์šฉNext.js ๊ฐ™์€ ์„œ๋ฒ„ ๋ Œ๋”๋ง ํ™˜๊ฒฝ์—์„œ๋Š” ์š”์ฒญ ์‹œ ๋ฐฐ์ • ๊ฒฐ๊ณผ๋ฅผ props๋กœ ๋‚ด๋ ค ์ปดํฌ๋„ŒํŠธ ๋‹จ์œ„๋กœ ๋ถ„๊ธฐํ•˜๋Š” ๋ฐฉ์‹์ด ๊น”๋”ํ•ฉ๋‹ˆ๋‹ค.

ํ”ผ์ฒ˜ ํ”Œ๋ž˜๊ทธ์™€ ์‹คํ—˜์˜ ๊ฒฐํ•ฉ

ํ˜„๋Œ€ ์‡ผํ•‘๋ชฐ ๊ฐœ๋ฐœ์—์„œ ์‹คํ—˜์€ ๋Œ€๊ฐœ ํ”ผ์ฒ˜ ํ”Œ๋ž˜๊ทธ(Feature Flag) ์‹œ์Šคํ…œ ์œ„์—์„œ ๋Œ์•„๊ฐ‘๋‹ˆ๋‹ค. ์ƒˆ ๊ธฐ๋Šฅ์„ ํ”Œ๋ž˜๊ทธ ๋’ค์— ์ˆจ๊ฒจ ๋ฐฐํฌํ•˜๊ณ , ํ”Œ๋ž˜๊ทธ์˜ ํŠธ๋ž˜ํ”ฝ ๋น„์œจ์„ ์กฐ์ ˆํ•˜๋ฉฐ ์‹คํ—˜ํ•œ ๋’ค, ์ด๊ธฐ๋ฉด 100%๋กœ ์˜ฌ๋ฆฌ๊ณ  ์ง€๋ฉด ๋„๋Š” ํ๋ฆ„์ž…๋‹ˆ๋‹ค. ์ด ๋ฐฉ์‹์˜ ์žฅ์ ์€ ๋ฐฐํฌ(Deploy)์™€ ์ถœ์‹œ(Release)๋ฅผ ๋ถ„๋ฆฌํ•  ์ˆ˜ ์žˆ๋‹ค๋Š” ์ ์ž…๋‹ˆ๋‹ค. ๋ฌธ์ œ๊ฐ€ ์ƒ๊ธฐ๋ฉด ์ฝ”๋“œ ๋กค๋ฐฑ ์—†์ด ์Šค์œ„์น˜ ํ•˜๋‚˜๋กœ ๋˜๋Œ๋ฆด ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

// React ์˜ˆ์‹œ: ์‹คํ—˜ ๋ถ„๊ธฐ ์ปดํฌ๋„ŒํŠธ
function ProductDetail({ product, variant }) {
  return (
    <>
      <Gallery images={product.images} />
      <OptionSelector options={product.options} />
      {variant === 'treatment'
        ? <StickyBuyBar product={product} />
        : <InlineBuyButton product={product} />}
    </>
  );
}
์‹คํ—˜ ์ฝ”๋“œ ๋ถ€์ฑ„ ๋๋‚œ ์‹คํ—˜์˜ ๋ถ„๊ธฐ ์ฝ”๋“œ๊ฐ€ ๋‚จ์•„ ์žˆ์œผ๋ฉด ์กฐ๊ฑด๋ฌธ์ด ๊ธฐํ•˜๊ธ‰์ˆ˜์ ์œผ๋กœ ์Œ“์—ฌ ์œ ์ง€๋ณด์ˆ˜๊ฐ€ ์–ด๋ ค์›Œ์ง‘๋‹ˆ๋‹ค. ์‹คํ—˜์ด ๋๋‚˜๋ฉด ์Šน์ž ์ฝ”๋“œ๋งŒ ๋‚จ๊ธฐ๊ณ  ํ”Œ๋ž˜๊ทธ์™€ ํŒจ๋ฐฐ ๋ถ„๊ธฐ๋ฅผ ์ œ๊ฑฐํ•˜๋Š” ์ •๋ฆฌ ์ž‘์—…์„ ์Šคํ”„๋ฆฐํŠธ ์ผ์ •์— ํฌํ•จ์‹œํ‚ค์„ธ์š”. ํ”Œ๋ž˜๊ทธ๋งˆ๋‹ค ๋‹ด๋‹น์ž์™€ ๋งŒ๋ฃŒ ์˜ˆ์ •์ผ์„ ๊ธฐ๋กํ•ด๋‘๋ฉด ๊ด€๋ฆฌ๊ฐ€ ์‰ฌ์›Œ์ง‘๋‹ˆ๋‹ค.

๋™์‹œ ๋‹ค๋ฐœ ์‹คํ—˜๊ณผ ๋ ˆ์ด์–ด ์„ค๊ณ„

์—ฌ๋Ÿฌ ํŒ€์ด ๋™์‹œ์— ์‹คํ—˜์„ ๋Œ๋ฆฌ๋ฉด ๊ฐ™์€ ์‚ฌ์šฉ์ž๊ฐ€ ์—ฌ๋Ÿฌ ์‹คํ—˜์— ๋™์‹œ์— ์ฐธ์—ฌํ•ฉ๋‹ˆ๋‹ค. ์‹คํ—˜ ํ‚ค๋ณ„๋กœ ๋…๋ฆฝ์ ์ธ ํ•ด์‹œ๋ฅผ ์“ฐ๋ฉด ๋Œ€์ฒด๋กœ ์„œ๋กœ์˜ ํšจ๊ณผ๊ฐ€ ๊ณ ๋ฅด๊ฒŒ ์„ž์—ฌ ๋ฌธ์ œ๊ฐ€ ๋˜์ง€ ์•Š์ง€๋งŒ, ๊ฐ™์€ ํ™”๋ฉด ์š”์†Œ๋ฅผ ๊ฑด๋“œ๋ฆฌ๋Š” ์‹คํ—˜(์˜ˆ: ์ƒ์„ธ ํŽ˜์ด์ง€ ๊ตฌ๋งค ๋ฒ„ํŠผ ์ƒ‰์ƒ ์‹คํ—˜๊ณผ ๊ตฌ๋งค ๋ฒ„ํŠผ ๋ฌธ๊ตฌ ์‹คํ—˜)์€ ์ƒํ˜ธ์ž‘์šฉ์ด ์ƒ๊ธธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฐ ์‹คํ—˜๋“ค์€ ๊ฐ™์€ ๋ ˆ์ด์–ด(Layer)์— ๋„ฃ์–ด ์ƒํ˜ธ ๋ฐฐํƒ€์ ์œผ๋กœ ํŠธ๋ž˜ํ”ฝ์„ ๋‚˜๋ˆ„๊ณ , ์„œ๋กœ ๋ฌด๊ด€ํ•œ ์˜์—ญ์˜ ์‹คํ—˜์€ ๋‹ค๋ฅธ ๋ ˆ์ด์–ด์—์„œ ๊ฒน์ณ ๋Œ๋ฆฌ๋Š” ๊ตฌ์กฐ๊ฐ€ ๊ตฌ๊ธ€์ด 2010๋…„ ๋…ผ๋ฌธ("Overlapping Experiment Infrastructure")์—์„œ ์†Œ๊ฐœํ•œ ๋ฐฉ์‹์œผ๋กœ ๋„๋ฆฌ ์•Œ๋ ค์ ธ ์žˆ์Šต๋‹ˆ๋‹ค.

๋„๊ตฌ ์„ ํƒ

๊ตฌ๊ธ€ ์˜ตํ‹ฐ๋งˆ์ด์ฆˆ(Google Optimize)๋Š” 2023๋…„ 9์›” 30์ผ ์„œ๋น„์Šค๊ฐ€ ์ข…๋ฃŒ๋˜์–ด, ๋งŽ์€ ์‡ผํ•‘๋ชฐ์ด ๋Œ€์•ˆ์„ ์ฐพ์•˜์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ ์„ ํƒ์ง€๋Š” ๋Œ€๋žต ๋‹ค์Œ๊ณผ ๊ฐ™์ด ๋‚˜๋‰ฉ๋‹ˆ๋‹ค.

์œ ํ˜•๋Œ€ํ‘œ ์˜ˆ์‹œํŠน์ง•
์ƒ์šฉ ์‹คํ—˜ ํ”Œ๋žซํผOptimizely, VWO, AB Tasty๋น„์ฃผ์–ผ ์—๋””ํ„ฐ, ํ†ต๊ณ„ ์—”์ง„ ๋‚ด์žฅ, ๋น„์šฉ ๋ฐœ์ƒ
ํ”ผ์ฒ˜ ํ”Œ๋ž˜๊ทธ + ์‹คํ—˜LaunchDarkly, Statsig, GrowthBook(์˜คํ”ˆ์†Œ์Šค), Unleash์„œ๋ฒ„ ์‚ฌ์ด๋“œ ์‹คํ—˜์— ๊ฐ•ํ•จ, ๊ฐœ๋ฐœ ์นœํ™”์ 
์ œํ’ˆ ๋ถ„์„ ๋„๊ตฌ ์—ฐ๊ณ„Amplitude Experiment, PostHogํ–‰๋™ ๋ถ„์„ ๋ฐ์ดํ„ฐ์™€ ์‹คํ—˜์„ ํ•œ ๊ณณ์—์„œ
์ž์ฒด ๊ตฌ์ถ•ํ•ด์‹œ ๋ฐฐ์ • + ๋ฐ์ดํ„ฐ ์›จ์–ดํ•˜์šฐ์Šค + ํ†ต๊ณ„ ํŒŒ์ดํ”„๋ผ์ธ์™„์ „ํ•œ ํ†ต์ œ ๊ฐ€๋Šฅ, ์ดˆ๊ธฐ ๊ตฌ์ถ•ยท๊ฒ€์ฆ ๋น„์šฉ ํผ

ํŠธ๋ž˜ํ”ฝ์ด ํฌ์ง€ ์•Š์€ ์ค‘์†Œ ์‡ผํ•‘๋ชฐ์ด๋ผ๋ฉด ์˜คํ”ˆ์†Œ์Šค๋‚˜ ๋ฌด๋ฃŒ ํ”Œ๋žœ์ด ์žˆ๋Š” ๋„๊ตฌ๋กœ ์‹œ์ž‘ํ•ด ๋ฐ์ดํ„ฐ ์›จ์–ดํ•˜์šฐ์Šค(BigQuery ๋“ฑ)์™€ ์—ฐ๋™ํ•˜๋Š” ๊ตฌ์„ฑ์ด ํ˜„์‹ค์ ์ž…๋‹ˆ๋‹ค. ์‹คํ—˜ ํ”Œ๋žซํผ ์—ฐ๋™, ์ด๋ฒคํŠธ ์„ค๊ณ„, ํ†ต๊ณ„ ๋ถ„์„ ๋Œ€์‹œ๋ณด๋“œ ๊ตฌ์ถ•์ด ๋‚ด๋ถ€ ์—ญ๋Ÿ‰๋งŒ์œผ๋กœ ๋ฒ…์ฐจ๋‹ค๋ฉด, ์žฌ๋Šฅ๋„ท ๊ฐ™์€ ์žฌ๋Šฅ ๊ฑฐ๋ž˜ ํ”Œ๋žซํผ์—์„œ ์ด์ปค๋จธ์Šค ๋ฐ์ดํ„ฐ ๋ถ„์„์ด๋‚˜ ํ”„๋ก ํŠธ์—”๋“œ ๊ฐœ๋ฐœ ์ „๋ฌธ๊ฐ€์˜ ๋„์›€์„ ๋ฐ›๋Š” ๊ฒƒ๋„ ์‹œํ–‰์ฐฉ์˜ค๋ฅผ ์ค„์ด๋Š” ๋ฐฉ๋ฒ•์ž…๋‹ˆ๋‹ค.

7. ํŽ˜์ด์ง€๋ณ„ UI/UX ์‹คํ—˜ ์•„์ด๋””์–ด ์ง€๋„ ๐Ÿ—บ๏ธ

์•„๋ž˜๋Š” ์‡ผํ•‘๋ชฐ์—์„œ ์ž์ฃผ ๊ฒ€์ฆ๋˜๋Š” ์‹คํ—˜ ์ฃผ์ œ์ž…๋‹ˆ๋‹ค. ์ด ๋ชฉ๋ก์€ "์ด๋ ‡๊ฒŒ ํ•˜๋ฉด ๋ฌด์กฐ๊ฑด ์˜ค๋ฅธ๋‹ค"๊ฐ€ ์•„๋‹ˆ๋ผ ํ…Œ์ŠคํŠธํ•ด๋ณผ ๊ฐ€์น˜๊ฐ€ ์žˆ๋Š” ํ›„๋ณด๋ผ๋Š” ์ ์„ ๊ธฐ์–ตํ•˜์„ธ์š”. ๊ฐ™์€ ๋ณ€๊ฒฝ๋„ ์ƒํ’ˆ๊ตฐ, ๊ฐ€๊ฒฉ๋Œ€, ๊ณ ๊ฐ์ธต์— ๋”ฐ๋ผ ๊ฒฐ๊ณผ๊ฐ€ ์ •๋ฐ˜๋Œ€์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

ํŽ˜์ด์ง€์‹คํ—˜ ์•„์ด๋””์–ด์ฃผ ๋ชฉํ‘œ ์ง€ํ‘œ
๐Ÿ  ํ™ˆยท๋žœ๋”ฉ๋ฉ”์ธ ๋ฐฐ๋„ˆ ์ž๋™ ์Šฌ๋ผ์ด๋“œ vs ๊ณ ์ • ๋ฐฐ๋„ˆ, ๊ฐœ์ธํ™” ์ถ”์ฒœ ์˜์—ญ ์œ„์น˜, ์นดํ…Œ๊ณ ๋ฆฌ ์ง„์ž… ๋ฐฉ์‹(์•„์ด์ฝ˜ ๊ทธ๋ฆฌ๋“œ vs ํ…์ŠคํŠธ)์ƒํ’ˆ ์ƒ์„ธ ์ง„์ž…๋ฅ , ๋ฐฉ๋ฌธ์ž๋‹น ๋งค์ถœ
๐Ÿ” ๊ฒ€์ƒ‰ยท๋ชฉ๋กํ•„ํ„ฐ ๋…ธ์ถœ ์œ„์น˜(์ƒ๋‹จ ์นฉ vs ์‚ฌ์ด๋“œ), ์ •๋ ฌ ๊ธฐ๋ณธ๊ฐ’, ๋ฌดํ•œ ์Šคํฌ๋กค vs ํŽ˜์ด์ง€๋„ค์ด์…˜, ์ƒํ’ˆ ์นด๋“œ์— ๋ฆฌ๋ทฐ ์ˆ˜ยท๋ฐฐ์†ก ์ •๋ณด ๋…ธ์ถœ๊ฒ€์ƒ‰ ํ›„ ํด๋ฆญ๋ฅ , ๋ฌด๊ฒฐ๊ณผ์œจ, ๋ชฉ๋กโ†’์ƒ์„ธ ์ „ํ™˜
๐Ÿ“ฆ ์ƒํ’ˆ ์ƒ์„ธ๋ชจ๋ฐ”์ผ ๊ณ ์ • ๊ตฌ๋งค ๋ฐ”, ์ด๋ฏธ์ง€ ๊ฐค๋Ÿฌ๋ฆฌ ํ˜•์‹, ๋ฆฌ๋ทฐ ์š”์•ฝ ์œ„์น˜, ๋ฐฐ์†ก ๋„์ฐฉ ์˜ˆ์ •์ผ ํ‘œ์‹œ, ์‚ฌ์ด์ฆˆ ๊ฐ€์ด๋“œ ๋…ธ์ถœ ๋ฐฉ์‹์žฅ๋ฐ”๊ตฌ๋‹ˆ ๋‹ด๊ธฐ์œจ, ๊ตฌ๋งค ์ „ํ™˜์œจ, ๋ฐ˜ํ’ˆ๋ฅ (๊ฐ€๋“œ๋ ˆ์ผ)
๐Ÿ›’ ์žฅ๋ฐ”๊ตฌ๋‹ˆ๋ฌด๋ฃŒ๋ฐฐ์†ก๊นŒ์ง€ ๋‚จ์€ ๊ธˆ์•ก ์•ˆ๋‚ด, ํ•จ๊ป˜ ์‚ฌ๋ฉด ์ข‹์€ ์ƒํ’ˆ ์ถ”์ฒœ, ํ’ˆ์ ˆยท๊ฐ€๊ฒฉ ๋ณ€๋™ ์•Œ๋ฆผ ๋ฐฉ์‹๊ฒฐ์ œ ์ง„์ž…๋ฅ , ๊ฐ๋‹จ๊ฐ€
๐Ÿ’ณ ๊ฒฐ์ œ๊ฒŒ์ŠคํŠธ ๊ฒฐ์ œ ํ—ˆ์šฉ, ์ž…๋ ฅ ํ•„๋“œ ์ถ•์†Œ, ๊ฐ„ํŽธ๊ฒฐ์ œ ๋ฒ„ํŠผ ์ˆœ์„œ, ์ฟ ํฐ ์ž…๋ ฅ๋ž€ ๋…ธ์ถœ ๋ฐฉ์‹, ๋‹จ๊ณ„ํ˜• vs ์›ํŽ˜์ด์ง€ ๊ฒฐ์ œ๊ฒฐ์ œ ์‹œ์ž‘ ๋Œ€๋น„ ์™„๋ฃŒ์œจ, ๊ฒฐ์ œ ์˜ค๋ฅ˜์œจ

์‚ฌ๋ก€๋กœ ์ƒ๊ฐํ•ด๋ณด๊ธฐ: ์ฟ ํฐ ์ž…๋ ฅ๋ž€์˜ ์—ญ์„ค

๊ฒฐ์ œ ํŽ˜์ด์ง€์— ๋ˆˆ์— ์ž˜ ๋„๋Š” "์ฟ ํฐ ์ฝ”๋“œ ์ž…๋ ฅ" ์นธ์ด ์žˆ์œผ๋ฉด, ์ฟ ํฐ์ด ์—†๋˜ ๊ณ ๊ฐ๋„ "์–ด๋”˜๊ฐ€ ํ• ์ธ ์ฝ”๋“œ๊ฐ€ ์žˆ๋‚˜?" ํ•˜๊ณ  ๊ฒ€์ƒ‰ํ•˜๋Ÿฌ ํŽ˜์ด์ง€๋ฅผ ๋– ๋‚  ์ˆ˜ ์žˆ๋‹ค๋Š” ์ง€์ ์€ UX ์—…๊ณ„์—์„œ ์˜ค๋ž˜ ๋…ผ์˜๋˜์–ด ์˜จ ์ฃผ์ œ์ž…๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ ์ž…๋ ฅ๋ž€์„ ์ ‘ํžŒ ๋งํฌ("์ฟ ํฐ์ด ์žˆ์œผ์‹ ๊ฐ€์š”?")๋กœ ๋ฐ”๊พธ๋Š” ์‹คํ—˜์ด ์ž์ฃผ ์‹œ๋„๋ฉ๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์ฟ ํฐ ๋งˆ์ผ€ํŒ…์„ ์ ๊ทน์ ์œผ๋กœ ํ•˜๋Š” ๋ชฐ์ด๋ผ๋ฉด ์˜คํžˆ๋ ค ์ฟ ํฐ ๋ณด์œ  ๊ณ ๊ฐ์ด ์ž…๋ ฅ๋ž€์„ ๋ชป ์ฐพ์•„ ์ดํƒˆํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ์ •๋‹ต์€ ์‹คํ—˜์ด ์•Œ๋ ค์ค๋‹ˆ๋‹ค.

์‚ฌ๋ก€๋กœ ์ƒ๊ฐํ•ด๋ณด๊ธฐ: ๋ฐฐ์†ก๋น„ ํ‘œ์‹œ ์‹œ์ 

Baymard Institute์˜ ๊ฒฐ์ œ ์ดํƒˆ ์—ฐ๊ตฌ์—์„œ๋Š” ๋ฐฐ์†ก๋น„ยท์„ธ๊ธˆ ๊ฐ™์€ ์˜ˆ์ƒ์น˜ ๋ชปํ•œ ์ถ”๊ฐ€ ๋น„์šฉ์ด ์žฅ๋ฐ”๊ตฌ๋‹ˆ ์ดํƒˆ์˜ ์ฃผ์š” ์‚ฌ์œ ๋กœ ๊พธ์ค€ํžˆ ๊ผฝํ˜€์™”์Šต๋‹ˆ๋‹ค. ์ด๋ฅผ ๊ทผ๊ฑฐ๋กœ "์ƒํ’ˆ ์ƒ์„ธ์—์„œ๋ถ€ํ„ฐ ๋ฐฐ์†ก๋น„์™€ ๋„์ฐฉ ์˜ˆ์ •์ผ์„ ๋ช…ํ™•ํžˆ ๋ณด์—ฌ์ฃผ๊ธฐ" ๊ฐ™์€ ๊ฐ€์„ค์„ ์„ธ์šธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋‹จ, ๋ฐฐ์†ก๋น„๊ฐ€ ์ผ์ฐ ๋ณด์ด๋ฉด ์ƒ์„ธ ํŽ˜์ด์ง€ ๋‹จ๊ณ„์˜ ์žฅ๋ฐ”๊ตฌ๋‹ˆ ๋‹ด๊ธฐ์œจ์€ ๋–จ์–ด์ง€๊ณ  ๊ฒฐ์ œ ์™„๋ฃŒ์œจ์€ ์˜ค๋ฅด๋Š”, ์ง€ํ‘œ ๊ฐ„ ์ƒ์ถฉ์ด ๋‚˜ํƒ€๋‚  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ ์ตœ์ข… ํŒ์ •์€ ๋ฐฉ๋ฌธ์ž๋‹น ๊ตฌ๋งค ์ „ํ™˜์œจยท๋งค์ถœ๋กœ ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

๋ชจ๋ฐ”์ผ์„ ๋”ฐ๋กœ ๋ณด์„ธ์š” ๊ฐ™์€ ๋ณ€๊ฒฝ์ด๋ผ๋„ PC์™€ ๋ชจ๋ฐ”์ผ์˜ ํšจ๊ณผ๋Š” ๋‹ค๋ฅผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ™”๋ฉด ํฌ๊ธฐ, ์—„์ง€ ์กฐ์ž‘ ์˜์—ญ, ํ‚ค๋ณด๋“œ๊ฐ€ ๊ฐ€๋ฆฌ๋Š” ์ž…๋ ฅ ํผ ๋“ฑ ๋งฅ๋ฝ์ด ์™„์ „ํžˆ ๋‹ค๋ฅด๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ๋ชจ๋ฐ”์ผ ๋น„์ค‘์ด ํฐ ์‡ผํ•‘๋ชฐ์ด๋ผ๋ฉด ๊ธฐ๊ธฐ๋ณ„๋กœ ์‹คํ—˜์„ ๋ถ„๋ฆฌ ์„ค๊ณ„ํ•˜๊ฑฐ๋‚˜, ์ตœ์†Œํ•œ ๊ธฐ๊ธฐ ์„ธ๊ทธ๋จผํŠธ๋ฅผ ์‚ฌ์ „์— ์ •์˜ํ•œ ๋ถ„์„ ํ•ญ๋ชฉ์œผ๋กœ ๋„ฃ์–ด๋‘์„ธ์š”(์‚ฌํ›„์— ์ฐพ์•„๋‚ธ ์„ธ๊ทธ๋จผํŠธ ํšจ๊ณผ๋Š” ์žฌ๊ฒ€์ฆ ๋Œ€์ƒ).

8. ๊ฒฐ๊ณผ ๋ถ„์„๊ณผ ์˜์‚ฌ๊ฒฐ์ • ๐Ÿงญ

์‹คํ—˜์ด ๋๋‚ฌ์Šต๋‹ˆ๋‹ค. ์ด์ œ ์ˆซ์ž๋ฅผ ํ•ด์„ํ•ด "๋ฐฐํฌํ•  ๊ฒƒ์ธ๊ฐ€"๋ฅผ ๊ฒฐ์ •ํ•  ์ฐจ๋ก€์ž…๋‹ˆ๋‹ค. ๊ฐ์ •์„ ๋ฐฐ์ œํ•˜๊ณ  ๋‹ค์Œ ์ˆœ์„œ๋ฅผ ๋”ฐ๋ฅด๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค.

์‹ ๋ขฐ์„ฑ ์ ๊ฒ€ ๋จผ์ € โ€” SRM ๊ฒ€์ •, ๋…ธ์ถœ ๋กœ๊ทธ ๋ˆ„๋ฝ ์—ฌ๋ถ€, ๋‚ ์งœ๋ณ„ ๋ฐ์ดํ„ฐ ์ด์ƒ์น˜, ๋ด‡ ํŠธ๋ž˜ํ”ฝ์„ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์„œ ๋ฌธ์ œ๊ฐ€ ๋ณด์ด๋ฉด ๊ฒฐ๊ณผ๋Š” ๋ณด์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
๊ฐ€๋“œ๋ ˆ์ผ ํ™•์ธ โ€” ๋กœ๋”ฉ ์‹œ๊ฐ„, ์˜ค๋ฅ˜์œจ, ์ทจ์†Œยท๋ฐ˜ํ’ˆ๋ฅ ์ด ์•…ํ™”๋˜์ง€ ์•Š์•˜๋Š”์ง€ ๋ด…๋‹ˆ๋‹ค. ๋ชฉํ‘œ ์ง€ํ‘œ๊ฐ€ ์˜ฌ๋ผ๋„ ๊ฐ€๋“œ๋ ˆ์ผ์ด ๊นจ์กŒ๋‹ค๋ฉด ๋ฐฐํฌํ•˜์ง€ ์•Š๊ฑฐ๋‚˜ ์ˆ˜์ • ํ›„ ์žฌ์‹คํ—˜ํ•ฉ๋‹ˆ๋‹ค.
๋ชฉํ‘œ ์ง€ํ‘œ์˜ ํšจ๊ณผ์™€ ์‹ ๋ขฐ๊ตฌ๊ฐ„ โ€” p-๊ฐ’๋งŒ์ด ์•„๋‹ˆ๋ผ ํšจ๊ณผ ํฌ๊ธฐ์™€ ๊ตฌ๊ฐ„์„ ๋ด…๋‹ˆ๋‹ค. ๊ตฌ๊ฐ„ ์ „์ฒด๊ฐ€ 0๋ณด๋‹ค ํฌ๊ณ , ํ•˜ํ•œ์กฐ์ฐจ ๋น„์ฆˆ๋‹ˆ์Šค์ ์œผ๋กœ ์˜๋ฏธ ์žˆ๋‹ค๋ฉด ๊ฐ•ํ•œ ์Šน๋ฆฌ์ž…๋‹ˆ๋‹ค.
๋ณด์กฐ ์ง€ํ‘œ๋กœ ๋ฉ”์ปค๋‹ˆ์ฆ˜ ์ดํ•ด โ€” "์™œ ์ด๊ฒผ๋Š”๊ฐ€?"๋ฅผ ์ง„๋‹จ ์ง€ํ‘œ๋กœ ์„ค๋ช…ํ•  ์ˆ˜ ์žˆ์–ด์•ผ ๋‹ค์Œ ๊ฐ€์„ค๋กœ ์ด์–ด์ง‘๋‹ˆ๋‹ค.
๋น„์šฉ๊ณผ ๋ฆฌ์Šคํฌ ๋ฐ˜์˜ โ€” ํšจ๊ณผ๊ฐ€ ์ž‘์€๋ฐ ์œ ์ง€๋ณด์ˆ˜ ๋น„์šฉ์ด ํฌ๋‹ค๋ฉด ๋ฐฐํฌํ•˜์ง€ ์•Š๋Š” ๊ฒƒ๋„ ํ•ฉ๋ฆฌ์  ์„ ํƒ์ž…๋‹ˆ๋‹ค.

"์œ ์˜ํ•˜์ง€ ์•Š์Œ"์€ "ํšจ๊ณผ ์—†์Œ"์ด ์•„๋‹ˆ๋‹ค

๊ฒฐ๊ณผ๊ฐ€ ํ†ต๊ณ„์ ์œผ๋กœ ์œ ์˜ํ•˜์ง€ ์•Š๋‹ค๋Š” ๊ฒƒ์€ "์ด ์‹คํ—˜์˜ ๊ฒ€์ •๋ ฅ์œผ๋กœ๋Š” ์ฐจ์ด๋ฅผ ๊ฐ์ง€ํ•˜์ง€ ๋ชปํ–ˆ๋‹ค"๋Š” ๋œป์ž…๋‹ˆ๋‹ค. ์‹ ๋ขฐ๊ตฌ๊ฐ„์ด โˆ’0.5% ~ +6%์ฒ˜๋Ÿผ ๋„“๋‹ค๋ฉด "๋ชจ๋ฅธ๋‹ค"๊ฐ€ ์ •ํ™•ํ•œ ๊ฒฐ๋ก ์ด๊ณ , โˆ’0.3% ~ +0.4%์ฒ˜๋Ÿผ ์ข๊ฒŒ 0 ์ฃผ๋ณ€์— ๋ชจ์—ฌ ์žˆ๋‹ค๋ฉด "์˜๋ฏธ ์žˆ๋Š” ํšจ๊ณผ๋Š” ์—†๋‹ค๊ณ  ๋ณผ ๊ทผ๊ฑฐ๊ฐ€ ์žˆ๋‹ค"๊ฐ€ ๊ฒฐ๋ก ์ž…๋‹ˆ๋‹ค. ๊ฐ™์€ "๋น„์œ ์˜"๋ผ๋„ ์˜๋ฏธ๊ฐ€ ์ „ํ˜€ ๋‹ค๋ฆ…๋‹ˆ๋‹ค.

ํŠธ์™€์ด๋จผ์˜ ๋ฒ•์น™(Twyman's Law) "ํฅ๋ฏธ๋กญ๊ฑฐ๋‚˜ ์ด์ƒํ•ด ๋ณด์ด๋Š” ์ˆ˜์น˜๋Š” ๋Œ€๊ฐœ ํ‹€๋ ธ๋‹ค." ์ฝ”ํ•˜๋น„ ๋“ฑ์˜ ์ €์„œ์—์„œ ๊ฐ•์กฐํ•˜๋Š” ์›์น™์ž…๋‹ˆ๋‹ค. ์ž‘์€ UI ๋ณ€๊ฒฝ์ด ์ „ํ™˜์œจ์„ 30% ๋Œ์–ด์˜ฌ๋ ธ๋‹ค๋ฉด ์ถ•ํ•˜ํ•˜๊ธฐ ์ „์— ๋กœ๊น… ๋ฒ„๊ทธ, ์ด๋ฒคํŠธ ์ค‘๋ณต ์ง‘๊ณ„, ํŠน์ • ํ”„๋กœ๋ชจ์…˜ ์œ ์ž… ์ ๋ฆผ๋ถ€ํ„ฐ ์˜์‹ฌํ•˜์„ธ์š”.

์Šน์ž์˜ ์ €์ฃผ์™€ ์žฅ๊ธฐ ํšจ๊ณผ ์ถ”์ 

์—ฌ๋Ÿฌ ์‹คํ—˜ ์ค‘ "์œ ์˜ํ•˜๊ฒŒ ์ด๊ธด ๊ฒƒ"๋งŒ ๊ณจ๋ผ ๋ฐฐํฌํ•˜๋ฉด, ์„ ํƒ๋œ ๊ฒฐ๊ณผ๋Š” ํ‰๊ท ์ ์œผ๋กœ ์‹ค์ œ ํšจ๊ณผ๋ณด๋‹ค ๊ณผ๋Œ€์ถ”์ •๋˜๋Š” ๊ฒฝํ–ฅ์ด ์žˆ์Šต๋‹ˆ๋‹ค(์Šน์ž์˜ ์ €์ฃผ). ๊ทธ๋ž˜์„œ ๋ฐฐํฌ ํ›„ ์‹ค์ œ ๋งค์ถœ ์ƒ์Šน์ด ์‹คํ—˜ ์ˆ˜์น˜๋ณด๋‹ค ์ž‘๊ฒŒ ๋‚˜ํƒ€๋‚˜๋Š” ์ผ์ด ํ”ํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ์ ๊ฒ€ํ•˜๋ ค๊ณ  ์ผ๋ถ€ ๊ธฐ์—…์€ ๋ฐฐํฌ ํ›„์—๋„ ์†Œ๋Ÿ‰์˜ ํŠธ๋ž˜ํ”ฝ์„ ๊ธฐ์กด ๋ฒ„์ „์— ๋‚จ๊ฒจ๋‘๋Š” ํ™€๋“œ์•„์›ƒ(Holdout) ๊ทธ๋ฃน์„ ์šด์˜ํ•ด ๋ˆ„์  ํšจ๊ณผ๋ฅผ ์ธก์ •ํ•ฉ๋‹ˆ๋‹ค.

A/B๋ฅผ ๋„˜์–ด์„œ: ๋‹ค๋ฅธ ์‹คํ—˜ ๋ฐฉ์‹๋“ค

๐Ÿ”ขA/B/n ํ…Œ์ŠคํŠธ๋Œ€์กฐ๊ตฐ ํ•˜๋‚˜์™€ ์—ฌ๋Ÿฌ ๋ณ€ํ˜•์„ ๋™์‹œ ๋น„๊ต. ๊ทธ๋ฃน์ด ๋Š˜์ˆ˜๋ก ๊ฐ ๊ทธ๋ฃน ํ‘œ๋ณธ์ด ์ค„๊ณ  ๋‹ค์ค‘ ๋น„๊ต ๋ณด์ •์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.
๐Ÿงฌ๋‹ค๋ณ€๋Ÿ‰ ํ…Œ์ŠคํŠธ(MVT)์ด๋ฏธ์ง€ ร— ๋ฌธ๊ตฌ ร— ๋ฒ„ํŠผ ์ƒ‰์ฒ˜๋Ÿผ ์š”์†Œ ์กฐํ•ฉ์„ ๋™์‹œ์— ํ…Œ์ŠคํŠธํ•ด ์ƒํ˜ธ์ž‘์šฉ๊นŒ์ง€ ๋ถ„์„. ์กฐํ•ฉ ์ˆ˜๋งŒํผ ํŠธ๋ž˜ํ”ฝ์ด ํ•„์š”ํ•ด ๋Œ€ํ˜• ๋ชฐ์— ์ ํ•ฉํ•ฉ๋‹ˆ๋‹ค.
๐ŸŽฐ๋ฉ€ํ‹ฐ์•”๋“œ ๋ฐด๋”ง์„ฑ๊ณผ ์ข‹์€ ์•ˆ์— ํŠธ๋ž˜ํ”ฝ์„ ์ ์  ๋” ๋ชฐ์•„์ฃผ๋Š” ๋ฐฉ์‹. ๋‹จ๊ธฐ ํ”„๋กœ๋ชจ์…˜ ๋ฐฐ๋„ˆ์ฒ˜๋Ÿผ "ํ•™์Šต"๋ณด๋‹ค "์ˆ˜์ต ๊ทน๋Œ€ํ™”"๊ฐ€ ๋ชฉ์ ์ผ ๋•Œ ์œ ์šฉํ•˜์ง€๋งŒ, ์ •๋ฐ€ํ•œ ํšจ๊ณผ ์ถ”์ •์—๋Š” ๋ถˆ๋ฆฌํ•ฉ๋‹ˆ๋‹ค.

9. ์‹คํ—˜ ๋ฌธํ™”: ๊ธฐ์ˆ ๋ณด๋‹ค ์–ด๋ ค์šด ๊ฒƒ ๐ŸŒฑ

๋„๊ตฌ๋ฅผ ๋„์ž…ํ•˜๋Š” ๊ฒƒ์€ ํ•˜๋ฃจ๋ฉด ๋˜์ง€๋งŒ, ์‹คํ—˜์ด ์˜์‚ฌ๊ฒฐ์ •์˜ ๊ธฐ๋ณธ๊ฐ’์ด ๋˜๋Š” ๋ฐ๋Š” ํ›จ์”ฌ ์˜ค๋žœ ์‹œ๊ฐ„์ด ๊ฑธ๋ฆฝ๋‹ˆ๋‹ค. ์‹คํ—˜์„ ๊พธ์ค€ํžˆ ํ•ด์˜จ ์กฐ์ง๋“ค์ด ๊ณตํ†ต์ ์œผ๋กœ ๊ฐ•์กฐํ•˜๋Š” ์Šต๊ด€์ด ์žˆ์Šต๋‹ˆ๋‹ค.

์‹คํ—˜์˜ ๋ชฉ์ ์€ ๋‚ด๊ฐ€ ์˜ณ์•˜์Œ์„ ์ฆ๋ช…ํ•˜๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ๋ฌด์—‡์ด ์˜ณ์€์ง€๋ฅผ ๋ฐฐ์šฐ๋Š” ๊ฒƒ์ด๋‹ค.
๐Ÿ“์‚ฌ์ „ ๋“ฑ๋ก๊ฐ€์„ค, ๋ชฉํ‘œ ์ง€ํ‘œ, ๊ฐ€๋“œ๋ ˆ์ผ, ํ‘œ๋ณธ ํฌ๊ธฐ, ๊ธฐ๊ฐ„, ํŒ์ • ๊ธฐ์ค€์„ ์‹คํ—˜ ์ „์— ๋ฌธ์„œ๋กœ ๋‚จ๊น๋‹ˆ๋‹ค. ์‚ฌํ›„ ํ•ฉ๋ฆฌํ™”๋ฅผ ๋ง‰๋Š” ๊ฐ€์žฅ ํ™•์‹คํ•œ ์žฅ์น˜์ž…๋‹ˆ๋‹ค.
๐Ÿ“š์‹คํ—˜ ์ €์žฅ์†Œ์‹คํŒจํ•œ ์‹คํ—˜๋„ ๊ธฐ๋กํ•ฉ๋‹ˆ๋‹ค. "์ž‘๋…„์— ํ•ด๋ดค๋Š”๋ฐ ์•ˆ ๋๋‹ค"๋Š” ๊ธฐ๋ก์ด ๊ฐ™์€ ์‹ค์ˆ˜๋ฅผ ๋ฐ˜๋ณตํ•˜์ง€ ์•Š๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค.
๐ŸคHiPPO ๋„˜์–ด์„œ๊ธฐ๊ฐ€์žฅ ๋†’์€ ์—ฐ๋ด‰์„ ๋ฐ›๋Š” ์‚ฌ๋žŒ์˜ ์˜๊ฒฌ(Highest Paid Person's Opinion)๋ณด๋‹ค ๋ฐ์ดํ„ฐ๊ฐ€ ์šฐ์„ ํ•˜๋Š” ํ•ฉ์˜๋ฅผ ๋งŒ๋“ญ๋‹ˆ๋‹ค.
โš–๏ธ์œค๋ฆฌ์™€ ์‹ ๋ขฐ์‚ฌ์šฉ์ž๋ฅผ ์†์ด๋Š” ๋‹คํฌ ํŒจํ„ด(๊ฐ€์งœ ์žฌ๊ณ  ์••๋ฐ•, ์ˆจ์€ ์ •๊ธฐ๊ฒฐ์ œ)์€ ๋‹จ๊ธฐ ์ง€ํ‘œ๊ฐ€ ์˜ฌ๋ผ๋„ ์‹ ๋ขฐ๋ฅผ ๋ฌด๋„ˆ๋œจ๋ฆฝ๋‹ˆ๋‹ค. ๊ฐ€๊ฒฉ ์ฐจ๋ณ„ ์‹คํ—˜์€ ๋ฒ•์ ยทํ‰ํŒ ๋ฆฌ์Šคํฌ๋ฅผ ๋ฐ˜๋“œ์‹œ ๊ฒ€ํ† ํ•ฉ๋‹ˆ๋‹ค.
๊ฐœ์ธ์ •๋ณด์™€ ๋™์˜ ์‹คํ—˜์„ ์œ„ํ•œ ์‹๋ณ„์žยทํ–‰๋™ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘์€ ๊ฐœ์ธ์ •๋ณด ๋ณดํ˜ธ ๋ฒ•๊ทœ(๊ตญ๋‚ด ๊ฐœ์ธ์ •๋ณด ๋ณดํ˜ธ๋ฒ•, ์œ ๋Ÿฝ GDPR ๋“ฑ)์™€ ์ฟ ํ‚ค ๋™์˜ ์ •์ฑ…์˜ ์ ์šฉ์„ ๋ฐ›์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋™์˜ ๋ฐฐ๋„ˆ์—์„œ ๋ถ„์„ ์ฟ ํ‚ค๋ฅผ ๊ฑฐ๋ถ€ํ•œ ์‚ฌ์šฉ์ž๋ฅผ ์‹คํ—˜์—์„œ ์–ด๋–ป๊ฒŒ ์ฒ˜๋ฆฌํ• ์ง€ ๋ฒ•๋ฌด ๊ฒ€ํ† ์™€ ํ•จ๊ป˜ ์ •ํ•ด๋‘์„ธ์š”. ๋™์˜ ์—ฌ๋ถ€์— ๋”ฐ๋ผ ํ‘œ๋ณธ์ด ํŽธํ–ฅ๋  ์ˆ˜ ์žˆ๋‹ค๋Š” ์ ๋„ ํ•ด์„ ์‹œ ๊ณ ๋ คํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

10. ์ž์ฃผ ๋ฌป๋Š” ์งˆ๋ฌธ ๐Ÿ™‹

Q. ํ•˜๋ฃจ ๋ฐฉ๋ฌธ์ž๊ฐ€ ์ˆ˜๋ฐฑ ๋ช…์ธ ์ž‘์€ ์‡ผํ•‘๋ชฐ๋„ A/B ํ…Œ์ŠคํŠธ๋ฅผ ํ•  ์ˆ˜ ์žˆ๋‚˜์š”?
๊ฐ€๋Šฅํ•˜์ง€๋งŒ ๊ธฐ๋Œ€์น˜๋ฅผ ์กฐ์ •ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์•ž์˜ ๊ณ„์‚ฐ์ฒ˜๋Ÿผ ๋ฏธ์„ธํ•œ ํšจ๊ณผ๋ฅผ ๊ฐ์ง€ํ•˜๋ ค๋ฉด ์ˆ˜๋งŒ ๋ช…์ด ํ•„์š”ํ•˜๋ฏ€๋กœ, ๊ฒฐ์ œ ํ”Œ๋กœ์šฐ ์ „๋ฉด ๊ฐœํŽธ์ฒ˜๋Ÿผ ํฐ ํšจ๊ณผ๊ฐ€ ์˜ˆ์ƒ๋˜๋Š” ๋ณ€๊ฒฝ ์œ„์ฃผ๋กœ, ์ „ํ™˜๋ณด๋‹ค ๋นˆ๋„๊ฐ€ ๋†’์€ ์ง€ํ‘œ(์žฅ๋ฐ”๊ตฌ๋‹ˆ ๋‹ด๊ธฐ ๋“ฑ)๋ฅผ ํ•จ๊ป˜ ๋ณด๋ฉฐ ์ง„ํ–‰ํ•˜์„ธ์š”. ํŠธ๋ž˜ํ”ฝ์ด ์ •๋ง ๋ถ€์กฑํ•˜๋‹ค๋ฉด ์‚ฌ์šฉ์„ฑ ํ…Œ์ŠคํŠธยท์„ธ์…˜ ๋ฆฌํ”Œ๋ ˆ์ด ๊ฐ™์€ ์ •์„ฑ ๋ฆฌ์„œ์น˜๊ฐ€ ๋” ํšจ์œจ์ ์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
Q. ํŠธ๋ž˜ํ”ฝ์„ 50:50์ด ์•„๋‹Œ 90:10์œผ๋กœ ๋‚˜๋ˆ ๋„ ๋˜๋‚˜์š”?
๋ฉ๋‹ˆ๋‹ค. ์œ„ํ—˜ํ•œ ๋ณ€๊ฒฝ์ด๋ผ๋ฉด ์ž‘์€ ๋น„์œจ๋กœ ์‹œ์ž‘ํ•˜๋Š” ๊ฒƒ์ด ์•ˆ์ „ํ•ฉ๋‹ˆ๋‹ค. ๋‹ค๋งŒ ๊ฐ™์€ ์ด ํ‘œ๋ณธ์—์„œ๋Š” 50:50์ผ ๋•Œ ๊ฒ€์ •๋ ฅ์ด ๊ฐ€์žฅ ๋†’์Šต๋‹ˆ๋‹ค. ๋˜ ์‹คํ—˜ ๋„์ค‘ ๋น„์œจ์„ ๋ฐ”๊พธ๋ฉด(10% โ†’ 50%) ๊ธฐ๊ฐ„๋ณ„ ์‚ฌ์šฉ์ž ๊ตฌ์„ฑ์ด ๋‹ฌ๋ผ์ ธ ๊ฒฐ๊ณผ๊ฐ€ ์™œ๊ณก๋  ์ˆ˜ ์žˆ์œผ๋‹ˆ, ๋น„์œจ ๋ณ€๊ฒฝ ์‹œ์—๋Š” ๋ถ„์„ ๊ธฐ๊ฐ„์„ ๋‚˜๋ˆ„๊ฑฐ๋‚˜ ์ƒˆ๋กœ ์‹œ์ž‘ํ•˜๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค.
Q. ์‹คํ—˜ ๊ฒฐ๊ณผ๊ฐ€ ์œ ์˜ํ•˜๊ฒŒ ๋‚˜์™”๋Š”๋ฐ ๋‹ค์‹œ ๋Œ๋ ค๋ณด๋‹ˆ ์•„๋‹ˆ์—ˆ์–ด์š”.
๋“œ๋ฌธ ์ผ์ด ์•„๋‹™๋‹ˆ๋‹ค. 1์ข… ์˜ค๋ฅ˜, ์Šน์ž์˜ ์ €์ฃผ, ์‹ ๊ธฐ ํšจ๊ณผ, ๊ณ„์ ˆ์„ฑ ๋“ฑ์ด ์›์ธ์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ค‘์š”ํ•œ ๊ฒฐ์ •์ผ์ˆ˜๋ก ์žฌํ˜„ ์‹คํ—˜์„ ํ•˜๋Š” ๊ฒƒ์ด ์ข‹์€ ์Šต๊ด€์ž…๋‹ˆ๋‹ค.
Q. SEO์— ์˜ํ–ฅ์€ ์—†๋‚˜์š”?
๊ตฌ๊ธ€์€ ๊ฒ€์ƒ‰ ์„ผํ„ฐ ๋ฌธ์„œ์—์„œ A/B ํ…Œ์ŠคํŠธ ์‹œ ํด๋กœํ‚น(๊ฒ€์ƒ‰ ๋กœ๋ด‡์—๊ฒŒ๋งŒ ๋‹ค๋ฅธ ์ฝ˜ํ…์ธ  ์ œ๊ณต)์„ ํ•˜์ง€ ๋ง๊ณ , ์—ฌ๋Ÿฌ URL๋กœ ๋‚˜๋ˆ  ํ…Œ์ŠคํŠธํ•  ๋•Œ๋Š” rel="canonical"์„ ํ™œ์šฉํ•˜๋ฉฐ, ๋ฆฌ๋‹ค์ด๋ ‰ํŠธ๋Š” ์ž„์‹œ(302)๋กœ ํ•˜๊ณ , ์‹คํ—˜์€ ํ•„์š”ํ•œ ๊ธฐ๊ฐ„๋งŒ ์šด์˜ํ•˜๋ผ๋Š” ์ทจ์ง€์˜ ๊ฐ€์ด๋“œ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

11. ๋งˆ๋ฌด๋ฆฌ: ์˜ค๋Š˜ ๋ฐ”๋กœ ์‹œ์ž‘ํ•˜๋Š” ์ฒดํฌ๋ฆฌ์ŠคํŠธ โœ…

์‡ผํ•‘๋ชฐ A/B ํ…Œ์ŠคํŠธ ํ•ต์‹ฌ ์ฒดํฌ๋ฆฌ์ŠคํŠธ โ˜‘๏ธ ํผ๋„ ๋ฐ์ดํ„ฐ์™€ ๊ณ ๊ฐ์˜ ๋ชฉ์†Œ๋ฆฌ์—์„œ ๊ฐ€์„ค์„ ๋งŒ๋“ค์—ˆ๋Š”๊ฐ€?
โ˜‘๏ธ ๋ชฉํ‘œ ์ง€ํ‘œ ํ•˜๋‚˜์™€ ๊ฐ€๋“œ๋ ˆ์ผ ์ง€ํ‘œ๋ฅผ ์‹คํ—˜ ์ „์— ์ •ํ–ˆ๋Š”๊ฐ€?
โ˜‘๏ธ MDE๋ฅผ ์ •ํ•˜๊ณ  ํ•„์š”ํ•œ ํ‘œ๋ณธ ํฌ๊ธฐยท๊ธฐ๊ฐ„์„ ๊ณ„์‚ฐํ–ˆ๋Š”๊ฐ€?
โ˜‘๏ธ ์‚ฌ์šฉ์ž ๋‹จ์œ„ ๊ฒฐ์ •๋ก ์  ํ•ด์‹œ ๋ฐฐ์ •๊ณผ ๋…ธ์ถœ ๋กœ๊น…์„ ๊ตฌํ˜„ํ–ˆ๋Š”๊ฐ€?
โ˜‘๏ธ A/A ํ…Œ์ŠคํŠธ๋กœ ํ”Œ๋žซํผ์„ ๊ฒ€์ฆํ–ˆ๋Š”๊ฐ€?
โ˜‘๏ธ ์ค‘๊ฐ„์— ์—ฟ๋ณด๊ณ  ๋ฉˆ์ถ”์ง€ ์•Š์„ ๊ทœ์น™(๋˜๋Š” ์ˆœ์ฐจ ๊ฒ€์ •)์„ ์„ธ์› ๋Š”๊ฐ€?
โ˜‘๏ธ ๋ถ„์„ ์‹œ SRM โ†’ ๊ฐ€๋“œ๋ ˆ์ผ โ†’ ํšจ๊ณผ์™€ ์‹ ๋ขฐ๊ตฌ๊ฐ„ ์ˆœ์œผ๋กœ ํ™•์ธํ•˜๋Š”๊ฐ€?
โ˜‘๏ธ ๊ฒฐ๊ณผ(์„ฑ๊ณตยท์‹คํŒจ ๋ชจ๋‘)๋ฅผ ๊ธฐ๋กํ•˜๊ณ , ๋๋‚œ ์‹คํ—˜ ์ฝ”๋“œ๋ฅผ ์ •๋ฆฌํ•˜๋Š”๊ฐ€?

A/B ํ…Œ์ŠคํŠธ๋Š” ํ™”๋ คํ•œ ๊ธฐ์ˆ ์ด๋ผ๊ธฐ๋ณด๋‹ค ๊ฒธ์†์˜ ๊ธฐ์ˆ ์ž…๋‹ˆ๋‹ค. "์šฐ๋ฆฌ๊ฐ€ ๊ณ ๊ฐ์„ ๋‹ค ์•ˆ๋‹ค"๋Š” ์ฐฉ๊ฐ์„ ๋‚ด๋ ค๋†“๊ณ , ๋ฒ„ํŠผ ํ•˜๋‚˜, ๋ฌธ๊ตฌ ํ•œ ์ค„๋„ ๊ณ ๊ฐ์—๊ฒŒ ์ง์ ‘ ๋ฌผ์–ด๋ณด๋Š” ํƒœ๋„์ฃ . ๊ทธ๋ ‡๊ฒŒ ์Œ“์ธ ์ž‘์€ ๊ฒ€์ฆ๋“ค์ด ๋ชจ์ด๋ฉด, ๊ฒฝ์Ÿ์‚ฌ๊ฐ€ ๋”ฐ๋ผ ํ•  ์ˆ˜ ์—†๋Š” ์šฐ๋ฆฌ ์‡ผํ•‘๋ชฐ๋งŒ์˜ ๋ฐ์ดํ„ฐ ์ž์‚ฐ์ด ๋ฉ๋‹ˆ๋‹ค. ๋‹ค์Œ ํšŒ์˜์—์„œ "์ดˆ๋ก ๋ฒ„ํŠผ์ด ๋” ์ข‹์„ ๊ฒƒ ๊ฐ™์•„์š”"๋ผ๋Š” ๋ง์ด ๋‚˜์˜ค๋ฉด, ์ด๋ ‡๊ฒŒ ๋‹ตํ•ด๋ณด์„ธ์š”. "์ข‹์€ ๊ฐ€์„ค์ด๋„ค์š”. ์‹คํ—˜ํ•ด ๋ด…์‹œ๋‹ค." ๐Ÿงช

#A/Bํ…Œ์ŠคํŠธ#์ „ํ™˜์œจ์ตœ์ ํ™”#์‡ผํ•‘๋ชฐ๊ฐœ๋ฐœ#UX์‹คํ—˜#ํ†ต๊ณ„์ ์œ ์˜์„ฑ#ํ”ผ์ฒ˜ํ”Œ๋ž˜๊ทธ
๋Œ“๊ธ€ ์ž‘์„ฑ

์ด ๊ธ€์— ๋Œ€ํ•œ ์—ฌ๋Ÿฌ๋ถ„์˜ ์ƒ๊ฐ์„ ๋“ค๋ ค์ฃผ์„ธ์š”

๋Œ“๊ธ€ 0
๋Œ“๊ธ€์„ ๋ถˆ๋Ÿฌ์˜ค๋Š” ์ค‘์ž…๋‹ˆ๋‹ค.

์•„์ง ๋Œ“๊ธ€์ด ์—†์Šต๋‹ˆ๋‹ค.