Ver2.0 ๐ค ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ ํ์ต ๋ฐ ํ๋ ๋ฐฉ๋ฒ๋ก : AI์ ๋๋ฅผ ํค์ฐ๋ ๋น๋ฐ ๋ ์ํผ ๐ง

๐ค ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ ํ์ต ๋ฐ ํ๋ ๋ฐฉ๋ฒ๋ก : AI์ ๋๋ฅผ ํค์ฐ๋ ๋น๋ฐ ๋ ์ํผ ๐ง
๐ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ด ๋ญ๊ธธ๋ ์ด๋ ๊ฒ ํซํ๊ฑฐ์ผ? ๐ฅ
์๋ ํ์ธ์, AI ๋ํ ์ฌ๋ฌ๋ถ! ์์ฆ ChatGPT, GPT-4, Llama, Bard ๊ฐ์ ์ด๋ฆ๋ค ๋ง์ด ๋ค์ด๋ณด์ จ์ฃ ? ์ด๋ฐ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(Large Language Models, LLMs)๋ค์ด ์ฐ๋ฆฌ ์ผ์์ ์ฅ~ ๋ค์ด์์ ์ด์ ๋ ์์ผ๋ฉด ์ ๋ ์กด์ฌ๊ฐ ๋์ด์. ๊ทผ๋ฐ ์ด ๋๋ํ AI ์น๊ตฌ๋ค์ด ์ด๋ป๊ฒ ํ์ตํ๊ณ ๋ฐ์ ํ๋์ง ๊ถ๊ธํ์ง ์์ผ์ธ์? ๐ค
์ค๋์ ์ด AI์ ๋๋ฅผ ํค์ฐ๋ ๋น๋ฐ ๋ ์ํผ๋ฅผ ํจ๊ป ํํค์ณ๋ณผ๊ฒ์! ๋ง์น ์๋ฆฌ์ฌ๊ฐ ๋ง์๋ ์์์ ๋ง๋๋ ๊ฒ์ฒ๋ผ, AI ์ฐ๊ตฌ์๋ค์ ํน๋ณํ ๋ฐฉ๋ฒ์ผ๋ก ์ธ์ด ๋ชจ๋ธ์ ํ์ต์ํค๊ณ ํ๋ํด์. ๊ทธ ๊ณผ์ ์ด ์ผ๋ง๋ ๋ณต์กํ๊ณ ์ฌ๋ฐ๋์ง, ์ง๊ธ๋ถํฐ ์์๋ณผ๊น์? ๐
์์ฆ ์ฌ๋ฅ๋ท ๊ฐ์ ์ฌ๋ฅ๊ณต์ ํ๋ซํผ์์๋ AI ๊ด๋ จ ์ง์์ด๋ ์๋น์ค๊ฐ ์์ฒญ ์ธ๊ธฐ๋ผ๋๋ฐ, ์ด๋ฐ ํธ๋ ๋๋ฅผ ์ดํดํ๋ ค๋ฉด ๊ธฐ๋ณธ์ ์ธ LLM์ ํ์ต ์๋ฆฌ๋ถํฐ ์์์ผ๊ฒ ์ฃ ? ๊ทธ๋ผ ๋ณธ๊ฒฉ์ ์ผ๋ก ์์ํด๋ณผ๊ฒ์! ๐
๐งฉ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ๊ธฐ์ด ๊ฐ๋ (์ซ ์ด๋ ค์ธ ์๋ ์์ง๋ง ์ฝ๊ฒ ์ค๋ช ํ ๊ฒ์!)
์ผ๋จ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ด ๋ญ์ง๋ถํฐ ์ ๋๋ก ์์๋ณผ๊น์? ์ด๋ฆ์์ ๋๊ปด์ง๋ฏ์ด '๋๊ท๋ชจ(Large)'๋ผ๋ ๊ฑด ์ ๋ง ์ด๋ง์ด๋งํ ํฌ๊ธฐ๋ฅผ ์๋ฏธํด์. GPT-3๋ง ํด๋ ํ๋ผ๋ฏธํฐ๊ฐ ๋ฌด๋ ค 1750์ต ๊ฐ๋ ๋๋ค๊ตฌ์! ์ด๊ฒ ์ผ๋ง๋ ํฐ ์ซ์๋๋ฉด... ์, ์ง๊ตฌ์ ๋ชจ๋ ์ฌ๋์ด ๊ฐ์ 20๊ฐ์ฉ ํ๋ผ๋ฏธํฐ๋ฅผ ๋๋ ๊ฐ์ ธ๋ ๋จ์ ์ ๋? ใ ใ ใ ๐
๐ก ํ๋ผ๋ฏธํฐ๊ฐ ๋ญ๋๊ตฌ์?
AI ๋ชจ๋ธ์ 'ํ๋ผ๋ฏธํฐ'๋ ์ฝ๊ฒ ๋งํด์ AI์ '๊ธฐ์ต๋ ฅ'๊ณผ '์ง์'์ ์ ์ฅํ๋ ์ซ์๋ค์ด์์. ๋ง์น ์ฐ๋ฆฌ ๋์ ๋ด๋ฐ ์ฐ๊ฒฐ์ฒ๋ผ, ์ด ์ซ์๋ค์ด ๋ง์์๋ก AI๊ฐ ๋ ๋ณต์กํ ํจํด์ ์ดํดํ๊ณ ๋ ๋ค์ํ ์ง์์ ๋ด์ ์ ์์ด์. GPT-4๋ ๋ฌด๋ ค 1์กฐ ๊ฐ ์ด์์ ํ๋ผ๋ฏธํฐ๋ฅผ ๊ฐ์ง๊ณ ์๋ค๋ ์๋ฌธ๋... ๐คฏ
๊ทธ๋ฆฌ๊ณ '์ธ์ด ๋ชจ๋ธ(Language Model)'์ด๋ ์ธ๊ฐ์ ์ธ์ด๋ฅผ ์ดํดํ๊ณ ์์ฑํ ์ ์๋ AI ์์คํ ์ ๋งํด์. ์ด ๋ชจ๋ธ๋ค์ ์๋ง์ ํ ์คํธ ๋ฐ์ดํฐ๋ฅผ ํ์ตํด์ ๋จ์ด์ ๋ฌธ์ฅ ์ฌ์ด์ ๊ด๊ณ๋ฅผ ํ์ ํ๊ณ , ๊ทธ ํจํด์ ๋ฐํ์ผ๋ก ์๋ก์ด ํ ์คํธ๋ฅผ ๋ง๋ค์ด๋ด๋ ๊ฑฐ์ฃ .
์์ฆ ๊ฐ์ฅ ํซํ ์ธ์ด ๋ชจ๋ธ ๊ตฌ์กฐ๋ 'ํธ๋์คํฌ๋จธ(Transformer)'๋ผ๋ ๊ฑด๋ฐ์, ์ด๊ฒ 2017๋ ์ ๊ตฌ๊ธ์์ "Attention is All You Need"๋ผ๋ ๋ ผ๋ฌธ์ผ๋ก ๋ฐํ๋์ด์. ์ด ๊ตฌ์กฐ๊ฐ ์ ํ๋ช ์ ์ด๋๋ฉด, ์ด์ ๋ชจ๋ธ๋ค๊ณผ ๋ฌ๋ฆฌ ๋ฌธ์ฅ ๋ด ๋จ์ด๋ค ์ฌ์ด์ ๊ด๊ณ๋ฅผ ๋ ํจ์จ์ ์ผ๋ก ํ์ ํ ์ ์๊ฑฐ๋ ์! ๋ง์น ๋ฌธ์ฅ์ ์ฝ์ ๋ ์ค์ํ ๋ถ๋ถ์ '์ฃผ๋ชฉ(Attention)'ํ๋ ๊ฒ์ฒ๋ผ์. ๐
ํธ๋์คํฌ๋จธ ๊ตฌ์กฐ๋ ์ธ์ฝ๋(Encoder)์ ๋์ฝ๋(Decoder)๋ก ๋๋๋๋ฐ, GPT ์๋ฆฌ์ฆ๋ ์ฃผ๋ก ๋์ฝ๋๋ง ์ฌ์ฉํ๋ ๋ชจ๋ธ์ด์์. ๋ฐ๋ฉด BERT๋ ์ธ์ฝ๋ ์ค์ฌ์ด๊ณ , T5 ๊ฐ์ ๋ชจ๋ธ์ ๋ ๋ค ์ฌ์ฉํ์ฃ . ๊ฐ๊ฐ ์ฅ๋จ์ ์ด ์์ด์ ์ฉ๋์ ๋ง๊ฒ ์ ํํ๋ค๊ณ ๋ณด๋ฉด ๋ฉ๋๋ค! ๐ง
๐ณ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ ํ์ต์ 3๋จ๊ณ ๋ ์ํผ
์, ์ด์ ๋ณธ๊ฒฉ์ ์ผ๋ก LLM์ ์ด๋ป๊ฒ ํ์ต์ํค๋์ง ์์๋ณผ๊น์? ๋ง์น ์๋ฆฌ ๋ ์ํผ์ฒ๋ผ ๋จ๊ณ๋ณ๋ก ์ค๋ช ํด๋๋ฆด๊ฒ์! ๐ฝ๏ธ
๐ฅฃ 1๋จ๊ณ: ์ฌ์ ํ์ต (Pre-training)
์ฌ์ ํ์ต์ ๋ง ๊ทธ๋๋ก AI์๊ฒ ๊ธฐ๋ณธ์ ์ธ ์ธ์ด ์ง์์ ๊ฐ๋ฅด์น๋ ๋จ๊ณ์์. ์ธํฐ๋ท์์ ์์งํ ์์ฒญ๋ ์์ ํ ์คํธ ๋ฐ์ดํฐ(์๋ฐฑ GB์์ ์ TB๊น์ง!)๋ฅผ ์ฝ๊ฒ ํ๋ ๊ฑฐ์ฃ . ์ด ๊ณผ์ ์์ AI๋ ๋ฌธ๋ฒ, ๋จ์ด ์๋ฏธ, ์ธ์ ์ง์ ๋ฑ์ ๋ฐฐ์ฐ๊ฒ ๋ฉ๋๋ค.
์ฌ์ ํ์ต์๋ ์ฃผ๋ก ๋ ๊ฐ์ง ๋ฐฉ๋ฒ์ด ์ฌ์ฉ๋ผ์:
- ์๊ธฐ ์ง๋ ํ์ต(Self-supervised learning): ๋ ์ด๋ธ์ด ์๋ ๋ฐ์ดํฐ์์ ์ค์ค๋ก ํจํด์ ์ฐพ์๋ด๋ ๋ฐฉ์
- ๋ง์คํฌ ์ธ์ด ๋ชจ๋ธ๋ง(Masked Language Modeling): "๋๋ ์ค๋ [MASK] ๋จน์๋ค" ๊ฐ์ ๋ฌธ์ฅ์์ ๋น์นธ ์ฑ์ฐ๊ธฐ
์ด ๋จ๊ณ๋ ์ ๋ง ๋ง์ ์ปดํจํ ํ์๊ฐ ํ์ํด์, ๋ณดํต ์๋ฐฑ~์์ฒ ๊ฐ์ GPU๋ฅผ ๋ช ์ฃผ์์ ๋ช ๋ฌ๊น์ง ๋๋ ค์. ์ง์ง ์ ๊ธฐ์ธ๊ฐ ์ด๋ง์ด๋งํ ๊ฒ ๊ฐ์ฃ ? ใ ใ ใ ๐ธ
๐ฒ 2๋จ๊ณ: ํ์ธํ๋ (Fine-tuning)
ํ์ธํ๋์ ์ฌ์ ํ์ต๋ ๋ชจ๋ธ์ ํน์ ์์ ์ ๋ง๊ฒ ์กฐ์ ํ๋ ๊ณผ์ ์ด์์. ์๋ฅผ ๋ค์ด, ์ง๋ฌธ-๋ต๋ณ, ๋ฒ์ญ, ์์ฝ ๊ฐ์ ํน์ ์์ ์ ๋ ์ ์๋ํ๋๋ก ์ถ๊ฐ ํ์ต์ ์ํค๋ ๊ฑฐ์ฃ .
ํ์ธํ๋์๋ ์ด๋ฐ ๋ฐฉ๋ฒ๋ค์ด ์ฌ์ฉ๋ผ์:
- ์ง๋ ํ์ต(Supervised learning): ์ ๋ต์ด ์๋ ๋ฐ์ดํฐ๋ก ํ์ต
- ์ ์ด ํ์ต(Transfer learning): ์ด๋ฏธ ๋ฐฐ์ด ์ง์์ ์๋ก์ด ์์ ์ ์ ์ฉ
- ํ๋กฌํํธ ํ๋(Prompt tuning): ๋ชจ๋ธ ํ๋ผ๋ฏธํฐ๋ ๊ทธ๋๋ก ๋๊ณ ์ ๋ ฅ ํ๋กฌํํธ๋ง ์กฐ์
ํ์ธํ๋์ ์ฌ์ ํ์ต๋ณด๋ค๋ ์ ์ ๋ฐ์ดํฐ์ ์ปดํจํ ํ์๋ก ๊ฐ๋ฅํด์. ๊ทธ๋์ ๊ฐ์ธ์ด๋ ์ค์๊ธฐ์ ๋ ์๋ํด๋ณผ ์ ์๋ ๋จ๊ณ์ฃ ! ๐
๐จ 3๋จ๊ณ: RLHF (Reinforcement Learning from Human Feedback)
RLHF๋ ์ธ๊ฐ์ ํผ๋๋ฐฑ์ ํตํ ๊ฐํํ์ต์ผ๋ก, ์ต๊ทผ์ ChatGPT์ ์ฑ๊ณต ๋น๊ฒฐ๋ก ์๋ ค์ง ๋ฐฉ๋ฒ์ด์์. ์ด ๋จ๊ณ์์๋ AI๊ฐ ์์ฑํ ์ฌ๋ฌ ์๋ต ์ค์์ ์ฌ๋๋ค์ด ์ด๋ค ๊ฒ์ ๋ ์ ํธํ๋์ง ํ์ตํด์.
RLHF ๊ณผ์ ์ ์ด๋ ๊ฒ ์งํ๋ผ์:
- ๋ณด์ ๋ชจ๋ธ ํ์ต: ์ฌ๋๋ค์ ์ ํธ๋๋ฅผ ์์ธกํ๋ ๋ชจ๋ธ ๋ง๋ค๊ธฐ
- ๊ฐํํ์ต ์ ์ฉ: ๋ณด์ ๋ชจ๋ธ์ ํผ๋๋ฐฑ์ ๋ฐํ์ผ๋ก ์ธ์ด ๋ชจ๋ธ ์ต์ ํ
- PPO(Proximal Policy Optimization): ์์ ์ ์ธ ํ์ต์ ์ํ ์๊ณ ๋ฆฌ์ฆ ์ ์ฉ
์ด ๋จ๊ณ๋ฅผ ํตํด AI๋ ๋ ์ ์ฉํ๊ณ , ์์ ํ๋ฉฐ, ์ธ๊ฐ์ ์๋์ ๋ง๋ ์๋ต์ ์์ฑํ ์ ์๊ฒ ๋ผ์. ์ง์ง ์ฌ๋์ฒ๋ผ ๋ํํ๋ ๋๋์ด ๋๋ ๊ฑด ์ด ๋จ๊ณ ๋๋ถ์ด๋๋๋ค! ๐
์ด ์ธ ๋จ๊ณ๋ฅผ ๊ฑฐ์น๋ฉด์ AI๋ ์ ์ ๋ ๋๋ํด์ง๊ณ ์ธ๊ฐ์ ์๋๋ฅผ ๋ ์ ์ดํดํ๊ฒ ๋ผ์. ๋ง์น ์๋ฆฌ๊ฐ ์ฌ๋ฌ ๋จ๊ณ์ ์กฐ๋ฆฌ ๊ณผ์ ์ ๊ฑฐ์ณ ์์ฑ๋๋ ๊ฒ์ฒ๋ผ, AI๋ ์ด๋ฐ ๊ณผ์ ์ ํตํด ์์ฑ๋๋ต๋๋ค! ๐ฝ๏ธ
๐ฌ ์ต์ ํ๋ ๊ธฐ๋ฒ๋ค (์ง์ง ํต์ฌ ๊ฟํ๋ค!)
์ด์ LLM์ ๋ ํจ์จ์ ์ผ๋ก, ๋ ์ ์ ์์์ผ๋ก ํ๋ํ๋ ์ต์ ๊ธฐ๋ฒ๋ค์ ์์๋ณผ๊น์? ์ด๋ฐ ๋ฐฉ๋ฒ๋ค์ ์ฌ๋ฅ๋ท์์ AI ์๋น์ค๋ฅผ ์ ๊ณตํ๋ ๋ถ๋ค์๊ฒ๋ ์ ์ฉํ ์ ๋ณด๊ฐ ๋ ์ ์์ ๊ฒ ๊ฐ์์! ๐ผ
๐ฏ ํ๋กฌํํธ ์์ง๋์ด๋ง (Prompt Engineering)
๋ชจ๋ธ ์์ฒด๋ ๊ฑด๋๋ฆฌ์ง ์๊ณ , ์ ๋ ฅํ๋ ํ๋กฌํํธ๋ฅผ ์ ์ค๊ณํด์ ์ํ๋ ๊ฒฐ๊ณผ๋ฅผ ์ป๋ ๋ฐฉ๋ฒ์ด์์. ์ด๊ฑด ๊ธฐ์ ์ ์ฅ๋ฒฝ์ด ๋ฎ์์ ๋๊ตฌ๋ ์๋ํด๋ณผ ์ ์์ด์!
์ฃผ์ ๊ธฐ๋ฒ:
- Few-shot learning: "์์๋ฅผ ๋ช ๊ฐ ๋ณด์ฌ์ฃผ๊ณ ๋ฐ๋ผํ๊ฒ ํ๊ธฐ"
- Chain-of-Thought: "์๊ฐ ๊ณผ์ ์ ๋จ๊ณ๋ณ๋ก ๋ณด์ฌ๋ฌ๋ผ๊ณ ์์ฒญํ๊ธฐ"
- Role prompting: "ํน์ ์ญํ ์ ๋ถ์ฌํ๊ธฐ (์: '๋น์ ์ ์ ๋ฌธ ๋ฒ์ญ๊ฐ์ ๋๋ค')"
์์ ํ๋กฌํํธ:
"๋น์ ์ ์ ๋ฌธ ์ํ ๊ต์ฌ์
๋๋ค. ๋ค์ ๋ฌธ์ ๋ฅผ ์ด๋ฑํ์์ด ์ดํดํ ์ ์๋๋ก ๋จ๊ณ๋ณ๋ก ์ค๋ช
ํด์ฃผ์ธ์: 2x + 5 = 15"
๐ PEFT (Parameter-Efficient Fine-Tuning)
์ ์ฒด ๋ชจ๋ธ ํ๋ผ๋ฏธํฐ์ ์์ฃผ ์ผ๋ถ๋ง ์ ๋ฐ์ดํธํด์ ํจ์จ์ ์ผ๋ก ํ๋ํ๋ ๋ฐฉ๋ฒ์ด์์. ์ปดํจํ ์์์ด ์ ํ์ ์ผ ๋ ์ง์ง ๊ฟํ! ๐ฏ
์ฃผ์ ๊ธฐ๋ฒ:
- LoRA (Low-Rank Adaptation): ์ ์ฐจ์ ํ๋ ฌ์ ์ฌ์ฉํด ์ ์ ํ๋ผ๋ฏธํฐ๋ง ํ์ต
- Adapter: ๋ชจ๋ธ ์ค๊ฐ์ ์์ ์ ๊ฒฝ๋ง ๋ ์ด์ด ์ถ๊ฐ
- Prefix/Prompt Tuning: ์ ๋ ฅ ์๋ฒ ๋ฉ์ ํ์ต ๊ฐ๋ฅํ ํ ํฐ ์ถ๊ฐ
LoRA๋ ํนํ ์ธ๊ธฐ ์๋ ๋ฐฉ๋ฒ์ธ๋ฐ, ์๋ ๋ชจ๋ธ์ 0.1% ์ ๋์ ํ๋ผ๋ฏธํฐ๋ง ํ์ตํด๋ ๊ฑฐ์ ๋น์ทํ ์ฑ๋ฅ์ ๋ผ ์ ์์ด์! ์ง์ง ํ๋ช ์ ์ด์ฃ ? ๐ฒ
๐งฉ QLoRA (Quantized LoRA)
LoRA์ ์์ํ(Quantization) ๊ธฐ๋ฒ์ ๊ฒฐํฉํด ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ ๋ ์ค์ธ ๋ฐฉ๋ฒ์ด์์. ์ด๋ฌ๋ฉด ์ผ๋ฐ ์๋น์์ฉ GPU๋ก๋ ํฐ ๋ชจ๋ธ์ ํ๋ํ ์ ์์ด์!
์๋ ์๋ฆฌ:
- ๊ธฐ๋ณธ ๋ชจ๋ธ์ 4๋นํธ๋ก ์์ํํด์ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋ ๊ฐ์
- LoRA๋ฅผ ์ ์ฉํด ์ ์ ์์ ํ๋ผ๋ฏธํฐ๋ง ํ์ต
- ํ์ด์ง ๊ธฐ๋ฒ์ผ๋ก GPU ๋ฉ๋ชจ๋ฆฌ ํจ์จ์ ๊ด๋ฆฌ
์ด ๋ฐฉ๋ฒ์ ์ฌ์ฉํ๋ฉด 65B ํ๋ผ๋ฏธํฐ ๋ชจ๋ธ๋ ๋จ์ผ 48GB GPU์์ ํ๋ํ ์ ์๋ค๊ณ ํด์! ์ง์์๋ ํ ์ ์๋ ์์ค์ด ๋ ๊ฑฐ์ฃ ! ๐ ๐ป
์ด๋ฐ ํจ์จ์ ์ธ ํ๋ ๋ฐฉ๋ฒ๋ค ๋๋ถ์, ์ด์ ๋ ๋๊ธฐ์ ์ด๋ ์ฐ๊ตฌ์๊ฐ ์๋๋๋ผ๋ ๊ฐ์ธ์ด๋ ์๊ท๋ชจ ํ๋ LLM์ ์์ ์ ๋ชฉ์ ์ ๋ง๊ฒ ์กฐ์ ํ ์ ์๊ฒ ๋์ด์. ์ ๋ง ๋ฏผ์ฃผํ์ ์๋๊ฐ ์จ ๊ฒ ๊ฐ์ฃ ? ๐
๐ ๏ธ ์ค์ LLM ํ๋ ์ค์ต ๊ฐ์ด๋ (๋ฐ๋ผํด๋ณด์ธ์!)
์ด๋ก ์ ์ถฉ๋ถํ ๋ฐฐ์ ์ผ๋, ์ด์ ์ค์ ๋ก LLM์ ํ๋ํด๋ณผ๊น์? ์ฌ๊ธฐ์๋ LoRA๋ฅผ ์ฌ์ฉํด ์คํ์์ค ๋ชจ๋ธ์ ํ๋ํ๋ ๊ฐ๋จํ ๊ณผ์ ์ ์๊ฐํ ๊ฒ์. ์ฝ๋ฉ ์ด๋ณด์๋ ๋ฐ๋ผํ ์ ์๋๋ก ์ต๋ํ ์ฝ๊ฒ ์ค๋ช ํด๋๋ฆด๊ฒ์! ๐จโ๐ป
๐ง ์ค๋น๋ฌผ
- Python ์ค์น๋ ํ๊ฒฝ
- ์ต์ 16GB RAM๊ณผ VRAM 8GB ์ด์์ GPU (์์ผ๋ฉด Google Colab ์ฌ์ฉ ๊ฐ๋ฅ)
- Hugging Face ๊ณ์
๐ 1๋จ๊ณ: ํ๊ฒฝ ์ค์
ํ์ํ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ค์นํด๋ด ์๋ค:
pip install transformers datasets peft trl accelerate bitsandbytes
pip install torch torchvision torchaudio
๐ 2๋จ๊ณ: ๋ฐ์ดํฐ ์ค๋น
ํ๋์ ์ฌ์ฉํ ๋ฐ์ดํฐ์ ์ ์ค๋นํฉ๋๋ค. ์ฌ๊ธฐ์๋ ๊ฐ๋จํ ์์๋ก ์ง๋ฌธ-๋ต๋ณ ํ์์ ๋ฐ์ดํฐ๋ฅผ ์ฌ์ฉํ ๊ฒ์:
from datasets import load_dataset
# Hugging Face์์ ๋ฐ์ดํฐ์
๋ถ๋ฌ์ค๊ธฐ (๋๋ ์์ ์ ๋ฐ์ดํฐ ์ฌ์ฉ)
dataset = load_dataset("yahma/alpaca-cleaned")
# ๋ฐ์ดํฐ์
ํ์ธ
print(dataset["train"][0])
์์ ๋ง์ ๋ฐ์ดํฐ์ ์ ๋ง๋ค๊ณ ์ถ๋ค๋ฉด, ์ด๋ฐ ํ์์ผ๋ก JSON ํ์ผ์ ๋ง๋ค์ด๋ณด์ธ์:
[
{
"instruction": "๋ค์ ๋ฌธ์ฅ์ ์์ด๋ก ๋ฒ์ญํด์ฃผ์ธ์",
"input": "์ธ๊ณต์ง๋ฅ์ ์ฐ๋ฆฌ์ ๋ฏธ๋๋ฅผ ๋ฐ๊ฟ ๊ฒ์
๋๋ค",
"output": "Artificial intelligence will change our future"
},
{
"instruction": "๋ค์ ์ง๋ฌธ์ ๋ตํด์ฃผ์ธ์",
"input": "๋ํ๋ฏผ๊ตญ์ ์๋๋ ์ด๋์ธ๊ฐ์?",
"output": "๋ํ๋ฏผ๊ตญ์ ์๋๋ ์์ธ์
๋๋ค"
}
]
๐ง 3๋จ๊ณ: ๋ชจ๋ธ ๋ก๋ ๋ฐ LoRA ์ค์
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model
# ๊ธฐ๋ณธ ๋ชจ๋ธ ๋ก๋ (์ฌ๊ธฐ์๋ ์์ ๋ชจ๋ธ์ ์์๋ก ์ฌ์ฉ)
model_name = "facebook/opt-1.3b" # ๋ ์์ ๋ชจ๋ธ๋ก ์์ํด๋ ์ข์์
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
load_in_8bit=True, # ์์ํ๋ก ๋ฉ๋ชจ๋ฆฌ ์ ์ฝ
device_map="auto"
)
# LoRA ์ค์
lora_config = LoraConfig(
r=8, # LoRA์ ๋ญํฌ
lora_alpha=32,
target_modules=["q_proj", "v_proj"], # ์ดํ
์
๋ชจ๋๋ง ํ๊ฒํ
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# LoRA ์ ์ฉ
model = get_peft_model(model, lora_config)
print(f"ํ์ต ๊ฐ๋ฅํ ํ๋ผ๋ฏธํฐ: {model.print_trainable_parameters()}")
๐๏ธโโ๏ธ 4๋จ๊ณ: ํ์ต ์คํ
from transformers import TrainingArguments, Trainer
import torch
# ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ ํจ์
def preprocess_function(examples):
inputs = [
f"### ์ง์๋ฌธ: {instruction}\n### ์
๋ ฅ: {input}\n### ์๋ต: "
for instruction, input in zip(examples["instruction"], examples["input"])
]
targets = [f"{output}" for output in examples["output"]]
model_inputs = tokenizer(inputs, max_length=512, truncation=True, padding="max_length")
labels = tokenizer(targets, max_length=512, truncation=True, padding="max_length")
model_inputs["labels"] = labels["input_ids"]
return model_inputs
# ๋ฐ์ดํฐ์
์ ์ฒ๋ฆฌ
tokenized_dataset = dataset.map(preprocess_function, batched=True)
# ํ์ต ์ค์
training_args = TrainingArguments(
output_dir="./results",
num_train_epochs=3,
per_device_train_batch_size=4,
gradient_accumulation_steps=2,
learning_rate=2e-4,
weight_decay=0.01,
warmup_steps=100,
logging_steps=100,
save_strategy="epoch",
)
# ํธ๋ ์ด๋ ์ด๊ธฐํ ๋ฐ ํ์ต
trainer = Trainer(
model=model,
args=training_args,
train_dataset=tokenized_dataset["train"],
)
trainer.train()
๐ 5๋จ๊ณ: ๋ชจ๋ธ ์ ์ฅ ๋ฐ ํ ์คํธ
# ๋ชจ๋ธ ์ ์ฅ
model.save_pretrained("./my_finetuned_model")
# ๋ชจ๋ธ ํ
์คํธ
def generate_response(instruction, input_text):
prompt = f"### ์ง์๋ฌธ: {instruction}\n### ์
๋ ฅ: {input_text}\n### ์๋ต: "
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
with torch.no_grad():
outputs = model.generate(
input_ids=inputs["input_ids"],
max_new_tokens=512,
temperature=0.7,
top_p=0.9,
)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
return response.split("### ์๋ต: ")[-1].strip()
# ํ
์คํธ ์์
instruction = "๋ค์ ์ฃผ์ ์ ๋ํ ์งง์ ์์ธ์ด๋ฅผ ์์ฑํด์ฃผ์ธ์"
input_text = "์ธ๊ณต์ง๋ฅ์ ๋ฏธ๋"
response = generate_response(instruction, input_text)
print(response)
์! ์ด์ ์ฌ๋ฌ๋ถ๋ง์ ์ปค์คํ AI ๋ชจ๋ธ์ด ์์ฑ๋์ด์! ๐ ์ด ๋ชจ๋ธ์ ์น ์๋น์ค๋ ์ฑ์ ํตํฉํด์ ๋ค์ํ ์ฉ๋๋ก ํ์ฉํ ์ ์๋ต๋๋ค. ์ฌ๋ฅ๋ท์์ AI ๊ด๋ จ ์๋น์ค๋ฅผ ์ ๊ณตํ๋ ๋ถ๋ค์ด๋ผ๋ฉด, ์ด๋ฐ ์ปค์คํ ๋ชจ๋ธ๋ก ์ฐจ๋ณํ๋ ์๋น์ค๋ฅผ ๋ง๋ค ์ ์์ ๊ฑฐ์์!
๐ฎ LLM ํ์ต์ ๋ฏธ๋ ํธ๋ ๋ (์ด๊ฑฐ ์๋ฉด ์ง์ง ํธ๋ ๋!)
LLM ํ์ต ๋ฐฉ๋ฒ์ ๊ณ์ ๋ฐ์ ํ๊ณ ์์ด์. ์์ผ๋ก ์ด๋ค ๋ฐฉํฅ์ผ๋ก ๋ฐ์ ํ ์ง, ์ต์ ํธ๋ ๋๋ฅผ ์ดํด๋ณผ๊น์? ๐
๐งฉ ๋ชจ๋ํ AI (Modular AI)
ํ๋์ ๊ฑฐ๋ ๋ชจ๋ธ๋ณด๋ค, ์ฌ๋ฌ ๊ฐ์ ์ ๋ฌธํ๋ ์์ ๋ชจ๋ธ๋ค์ ์กฐํฉํด์ ์ฌ์ฉํ๋ ์ถ์ธ๊ฐ ๊ฐํด์ง๊ณ ์์ด์. ๋ง์น ๋ ๊ณ ๋ธ๋ก์ฒ๋ผ ํ์ํ ๊ธฐ๋ฅ๋ง ์กฐํฉํด์ ์ฌ์ฉํ๋ ๊ฑฐ์ฃ !
์ฅ์ : ๋ฉ๋ชจ๋ฆฌ ํจ์จ์ฑ ์ฆ๊ฐ, ํน์ ์์ ์ ๋ ํนํ๋ ์ฑ๋ฅ, ์ ๋ฐ์ดํธ ์ฉ์ด์ฑ
๐ฑ ์ง์์ ํ์ต (Continual Learning)
ํ ๋ฒ ํ์ตํ๊ณ ๋์ด ์๋๋ผ, ์๋ก์ด ๋ฐ์ดํฐ์ ํผ๋๋ฐฑ์ ์ง์์ ์ผ๋ก ๋ฐ์ํด ๋ชจ๋ธ์ ์ ๋ฐ์ดํธํ๋ ๋ฐฉ์์ด์์. ๋ง์น ์ธ๊ฐ์ฒ๋ผ ๊ณ์ ๋ฐฐ์ฐ๋ AI๋ฅผ ๋ง๋๋ ๊ฑฐ์ฃ !
๊ณผ์ : ์ด์ ์ ๋ฐฐ์ด ์ง์์ ์์ด๋ฒ๋ฆฌ๋ 'ํ๊ตญ์ ๋ง๊ฐ(Catastrophic Forgetting)' ๋ฌธ์ ํด๊ฒฐ
๐ ์๋์ง ํจ์จ์ ํ์ต (Energy-Efficient Training)
LLM ํ์ต์ ๋ค์ด๊ฐ๋ ์์ฒญ๋ ์๋์ง ์๋น๋ฅผ ์ค์ด๊ธฐ ์ํ ์ฐ๊ตฌ๊ฐ ํ๋ฐํด์. ํ์ ๋ฐ์๊ตญ์ ์ค์ด๋ฉด์๋ ์ฑ๋ฅ์ ์ ์งํ๋ ๋ฐฉ๋ฒ์ ์ฐพ๊ณ ์์ฃ .
์ ๊ทผ๋ฒ: ์คํ์ค ๋ชจ๋ธ๋ง(Sparse Modeling), ์ง์ ์ฆ๋ฅ(Knowledge Distillation), ์์ํ(Quantization) ๋ฑ
๐ค ๋ฉํฐ๋ชจ๋ฌ ํ์ต (Multimodal Learning)
ํ ์คํธ๋ฟ๋ง ์๋๋ผ ์ด๋ฏธ์ง, ์ค๋์ค, ๋น๋์ค ๋ฑ ๋ค์ํ ํํ์ ๋ฐ์ดํฐ๋ฅผ ํจ๊ป ํ์ตํ๋ ๋ชจ๋ธ๋ค์ด ๋์ด๋๊ณ ์์ด์. GPT-4V, Gemini ๊ฐ์ ๋ชจ๋ธ๋ค์ด ๋ํ์ ์ด์ฃ !
๋ฐ์ ๋ฐฉํฅ: ๋ค์ํ ๊ฐ๊ฐ์ ํตํฉํด ๋ ํ๋ถํ ์ดํด์ ์์ฑ ๋ฅ๋ ฅ์ ๊ฐ์ถ AI
์ด๋ฐ ํธ๋ ๋๋ค์ LLM์ ๋ ์ ๊ทผ์ฑ ๋๊ณ , ํจ์จ์ ์ด๋ฉฐ, ๋ค์ฌ๋ค๋ฅํ ๋๊ตฌ๋ก ๋ง๋ค์ด๊ฐ๊ณ ์์ด์. ์์ผ๋ก ๋ช ๋ ์์ ์ฐ๋ฆฌ๊ฐ ์์๋ ๋ชป ํ๋ ๋ฐฉ์์ผ๋ก AI๊ฐ ๋ฐ์ ํ ๊ฒ ๊ฐ์์! ๊ทธ๋ฆฌ๊ณ ์ด๋ฐ ๋ฐ์ ์ ์ฌ๋ฅ๋ท๊ณผ ๊ฐ์ ํ๋ซํผ์์ ๋ ๋ค์ํ AI ๊ธฐ๋ฐ ์๋น์ค๊ฐ ๋ฑ์ฅํ๋ ๊ณ๊ธฐ๊ฐ ๋ ๊ฑฐ์์. ๐
๐ก ๊ฒฐ๋ก : LLM ํ์ต์ ํต์ฌ ํฌ์ธํธ
์ง๊ธ๊น์ง ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ํ์ต ๋ฐ ํ๋ ๋ฐฉ๋ฒ๋ก ์ ๋ํด ์์๋ดค๋๋ฐ์, ์ ๋ง ๋ง์ ๋ด์ฉ์ด์์ฃ ? ๋ง์ง๋ง์ผ๋ก ํต์ฌ ํฌ์ธํธ๋ฅผ ์ ๋ฆฌํด๋ณผ๊ฒ์! ๐
๐ฏ LLM ํ์ต์ 3๋จ๊ณ
- ์ฌ์ ํ์ต(Pre-training): ๋๋์ ํ ์คํธ๋ก ๊ธฐ๋ณธ ์ธ์ด ๋ฅ๋ ฅ ์ต๋
- ํ์ธํ๋(Fine-tuning): ํน์ ์์ ์ ๋ง๊ฒ ๋ชจ๋ธ ์กฐ์
- RLHF(์ธ๊ฐ ํผ๋๋ฐฑ ๊ฐํํ์ต): ์ธ๊ฐ์ ์ ํธ๋๋ฅผ ๋ฐ์ํด ๋ชจ๋ธ ๊ฐ์
๐ช ํจ์จ์ ์ธ ํ๋ ๋ฐฉ๋ฒ
- ํ๋กฌํํธ ์์ง๋์ด๋ง: ๋ชจ๋ธ์ ๊ทธ๋๋ก ๋๊ณ ์ ๋ ฅ ํ๋กฌํํธ๋ง ์กฐ์
- LoRA: ์ ์ ์์ ํ๋ผ๋ฏธํฐ๋ง ํ์ตํด ํจ์จ์ฑ ๊ทน๋ํ
- QLoRA: ์์ํ์ LoRA๋ฅผ ๊ฒฐํฉํด ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋ ์ต์ํ
๐ฎ ๋ฏธ๋ ํธ๋ ๋
- ๋ชจ๋ํ AI: ์ ๋ฌธํ๋ ์์ ๋ชจ๋ธ๋ค์ ์กฐํฉ
- ์ง์์ ํ์ต: ๊ณ์ํด์ ์๋ก์ด ์ง์์ ์ต๋ํ๋ AI
- ์๋์ง ํจ์จ์ ํ์ต: ํ์ ๋ฐ์๊ตญ์ ์ค์ด๋ ์นํ๊ฒฝ ํ์ต ๋ฐฉ๋ฒ
- ๋ฉํฐ๋ชจ๋ฌ ํ์ต: ํ ์คํธ, ์ด๋ฏธ์ง, ์ค๋์ค ๋ฑ ๋ค์ํ ๋ฐ์ดํฐ ํตํฉ
LLM ํ์ต ๊ธฐ์ ์ ์ ๋ง ๋น ๋ฅด๊ฒ ๋ฐ์ ํ๊ณ ์์ด์. 1-2๋ ์ ๋ง ํด๋ ๋๊ธฐ์ ์ด๋ ์ฐ๊ตฌ์๋ง ํ ์ ์์๋ ์ผ๋ค์ด ์ด์ ๋ ๊ฐ์ธ ๊ฐ๋ฐ์๋ ์๊ท๋ชจ ์คํํธ์ ๋ ๋์ ํ ์ ์๊ฒ ๋์ฃ . AI ๋ฏผ์ฃผํ์ ์๋๊ฐ ์จ ๊ฒ ๊ฐ์์! ๐
์ฌ๋ฌ๋ถ๋ ์ด ๊ธ์์ ๋ฐฐ์ด ๋ด์ฉ์ ๋ฐํ์ผ๋ก ์์ ๋ง์ AI ๋ชจ๋ธ์ ๋ง๋ค์ด๋ณด๋ ๊ฑด ์ด๋จ๊น์? ํนํ ์ฌ๋ฅ๋ท์์ AI ๊ด๋ จ ์๋น์ค๋ฅผ ์ ๊ณตํ๊ฑฐ๋ ์ด์ฉํ์๋ ๋ถ๋ค์ด๋ผ๋ฉด, ์ด๋ฐ ์ง์์ด ์ ๋ง ์ ์ฉํ ๊ฑฐ์์. ์์ ๋ง์ ํนํ๋ AI ์๋น์ค๋ก ์ฐจ๋ณํ๋ ๊ฐ์น๋ฅผ ๋ง๋ค์ด๋ณด์ธ์! ๐ผ
๋ง์ง๋ง์ผ๋ก, AI ๊ธฐ์ ์ ๊ณ์ ๋ฐ์ ํ๊ณ ์์ผ๋ ๊พธ์คํ ๊ณต๋ถํ๋ ์์ธ๊ฐ ์ค์ํด์. ์คํ์์ค ์ปค๋ฎค๋ํฐ์ ์ฐธ์ฌํ๊ฑฐ๋, ์ต์ ๋ ผ๋ฌธ์ ์ฝ๊ฑฐ๋, ์ง์ ์คํํด๋ณด๋ฉด์ ๊ณ์ ๋ฐฐ์๋๊ฐ๋ ๊ฒ์ด ํต์ฌ์ด๋๋๋ค! ๐ง
์ฌ๊ธฐ๊น์ง ์ฝ์ด์ฃผ์ ์ ๊ฐ์ฌํด์! ์ง๋ฌธ์ด๋ ์๊ฒฌ์ด ์์ผ์๋ฉด ์ธ์ ๋ ์ง ๋๊ธ๋ก ๋จ๊ฒจ์ฃผ์ธ์. ํจ๊ป AI์ ๋ฏธ๋๋ฅผ ๋ง๋ค์ด๊ฐ์! ๐
๊ด๋ จ ํค์๋
๋๊ธ ์์ฑ
์ด ๊ธ์ ๋ํ ์ฌ๋ฌ๋ถ์ ์๊ฐ์ ๋ค๋ ค์ฃผ์ธ์
๋ก๊ทธ์ธ์ด ํ์ํฉ๋๋ค
๋๊ธ์ ์์ฑํ๋ ค๋ฉด ๋จผ์ ๋ก๊ทธ์ธํด์ฃผ์ธ์.
๋๊ธ 0
์ง์์ธ์ ์ฒ - ์ง์ ์ฌ์ฐ๊ถ ๋ณดํธ ๊ณ ์ง
์ง์ ์ฌ์ฐ๊ถ ๋ณดํธ ๊ณ ์ง
- ์ ์๊ถ ๋ฐ ์์ ๊ถ: ๋ณธ ์ปจํ ์ธ ๋ ์ฌ๋ฅ๋ท์ ๋ ์ AI ๊ธฐ์ ๋ก ์์ฑ๋์์ผ๋ฉฐ, ๋ํ๋ฏผ๊ตญ ์ ์๊ถ๋ฒ ๋ฐ ๊ตญ์ ์ ์๊ถ ํ์ฝ์ ์ํด ๋ณดํธ๋ฉ๋๋ค.
- AI ์์ฑ ์ปจํ ์ธ ์ ๋ฒ์ ์ง์: ๋ณธ AI ์์ฑ ์ปจํ ์ธ ๋ ์ฌ๋ฅ๋ท์ ์ง์ ์ฐฝ์๋ฌผ๋ก ์ธ์ ๋๋ฉฐ, ๊ด๋ จ ๋ฒ๊ท์ ๋ฐ๋ผ ์ ์๊ถ ๋ณดํธ๋ฅผ ๋ฐ์ต๋๋ค.
- ์ฌ์ฉ ์ ํ: ์ฌ๋ฅ๋ท์ ๋ช ์์ ์๋ฉด ๋์ ์์ด ๋ณธ ์ปจํ ์ธ ๋ฅผ ๋ณต์ , ์์ , ๋ฐฐํฌ, ๋๋ ์์ ์ ์ผ๋ก ํ์ฉํ๋ ํ์๋ ์๊ฒฉํ ๊ธ์ง๋ฉ๋๋ค.
- ๋ฐ์ดํฐ ์์ง ๊ธ์ง: ๋ณธ ์ปจํ ์ธ ์ ๋ํ ๋ฌด๋จ ์คํฌ๋ํ, ํฌ๋กค๋ง, ๋ฐ ์๋ํ๋ ๋ฐ์ดํฐ ์์ง์ ๋ฒ์ ์ ์ฌ์ ๋์์ด ๋ฉ๋๋ค.
- AI ํ์ต ์ ํ: ์ฌ๋ฅ๋ท์ AI ์์ฑ ์ปจํ ์ธ ๋ฅผ ํ AI ๋ชจ๋ธ ํ์ต์ ๋ฌด๋จ ์ฌ์ฉํ๋ ํ์๋ ๊ธ์ง๋๋ฉฐ, ์ด๋ ์ง์ ์ฌ์ฐ๊ถ ์นจํด๋ก ๊ฐ์ฃผ๋ฉ๋๋ค.
์์ง ๋๊ธ์ด ์์ต๋๋ค.