Ver3.0 ๐ค ์ธ๊ณต์ง๋ฅ ์๊ณ ๋ฆฌ์ฆ ์ต์ ํ์ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ํจ์จ์ ์ธ ํ์ต ์ ๋ต

๐ค ์ธ๊ณต์ง๋ฅ ์๊ณ ๋ฆฌ์ฆ ์ต์ ํ์ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ํจ์จ์ ์ธ ํ์ต ์ ๋ต
AI ๋ชจ๋ธ์ ๋ ๋น ๋ฅด๊ณ ๋๋ํ๊ฒ ๋ง๋๋ ์ค์ ๋ ธํ์ฐ
๐ฏ ์ ์ต์ ํ๊ฐ ์ค์ํ ๊น?
์น๊ตฌ์ผ, ์์ฆ AI ๋ชจ๋ธ ํ๋ ํ์ต์ํค๋๋ฐ ์ผ๋ง๋ ๊ฑธ๋ฆฌ๋์ง ์์? ๐
GPT-3 ๊ฐ์ ๋ํ ๋ชจ๋ธ์ ์๋ฐฑ๋ง ๋ฌ๋ฌ์ ์ปดํจํ
๋น์ฉ์ด ๋ค์ด๊ฐ๋ค๊ณ ํด. ์ฌ์ง์ด ์์ ๋ชจ๋ธ๋ ๋ฉฐ์น ์ฉ ๋๋ ค์ผ ํ๋ ๊ฒฝ์ฐ๊ฐ ๋ถ์ง๊ธฐ์์ง.
๊ทธ๋์ ๋ฑ์ฅํ ๊ฒ ๋ฐ๋ก ์๊ณ ๋ฆฌ์ฆ ์ต์ ํ์ ํจ์จ์ ์ธ ํ์ต ์ ๋ต์ด์ผ. ๊ฐ์ ์ฑ๋ฅ์ ๋ด๋ฉด์๋ ์๊ฐ๊ณผ ๋น์ฉ์ ํ๊ธฐ์ ์ผ๋ก ์ค์ผ ์ ์๊ฑฐ๋ ! ๐ฐ
์ค์ ๋ก ๊ตฌ๊ธ, ๋ฉํ, ์คํAI ๊ฐ์ ๋น
ํ
ํฌ ๊ธฐ์
๋ค์ ์ต์ ํ ๊ธฐ์ ์ ์์ฒญ๋ ํฌ์๋ฅผ ํ๊ณ ์์ด. ์๋ํ๋ฉด ๋ชจ๋ธ ํ๋ ํ์ต์ํค๋ ๋ฐ ๋๋ ์ ๊ธฐ์ธ๋ง ํด๋ ์ด๋ง์ด๋งํ๊ฑฐ๋ . ํ๊ฒฝ ๋ฌธ์ ๋ ์๊ณ ๋ง์ด์ผ. ๐
๐ฅ ๋ฅ๋ฌ๋ ํ์ต์ ๋ณ๋ชฉ ํ์๋ค
์, ๋ณธ๊ฒฉ์ ์ผ๋ก ๋ค์ด๊ฐ๊ธฐ ์ ์ ๋จผ์ ๋ฌธ์ ๋ถํฐ ํ์ ํด๋ณด์. ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ํ์ต์ํฌ ๋ ์ด๋ค ๋ฌธ์ ๋ค์ด ๋ฐ์ํ๋์ง ์์์ผ ํด๊ฒฐ์ฑ ๋ ์ฐพ์ ์ ์์ผ๋๊น! ๐
1๏ธโฃ ๊ณ์ฐ ๋ณต์ก๋ ํญ๋ฐ
์ ๊ฒฝ๋ง์ ๋ ์ด์ด๊ฐ ๊น์ด์ง์๋ก, ํ๋ผ๋ฏธํฐ ์๊ฐ ๋์ด๋ ์๋ก ๊ณ์ฐ๋์ด ๊ธฐํ๊ธ์์ ์ผ๋ก ์ฆ๊ฐํด.
์๋ฅผ ๋ค์ด Transformer ๋ชจ๋ธ์ Self-Attention ๋ฉ์ปค๋์ฆ์ ์ํ์ค ๊ธธ์ด์ ์ ๊ณฑ์ ๋น๋กํ๋ ๋ณต์ก๋๋ฅผ ๊ฐ์ง๊ณ ์์ด. ๐ฑ
์
๋ ฅ ํ ํฐ์ด 512๊ฐ๋ฉด ๊ด์ฐฎ์๋ฐ, 2048๊ฐ๊ฐ ๋๋ฉด? ๊ณ์ฐ๋์ด 16๋ฐฐ๋ก ๋ฐ์ด๋ฒ๋ฆฌ์ง!
2๏ธโฃ ๋ฉ๋ชจ๋ฆฌ ๋ถ์กฑ ๋ฌธ์
GPU ๋ฉ๋ชจ๋ฆฌ๋ ํ์ ๋์ด ์๋๋ฐ, ๋ชจ๋ธ ํฌ๊ธฐ๋ ๊ณ์ ์ปค์ง๊ณ ์์ด.
๋ฐฐ์น ์ฌ์ด์ฆ๋ฅผ ์ค์ด๋ฉด ํ์ต์ด ๋ถ์์ ํด์ง๊ณ , ๊ทธ๋ ๋ค๊ณ ํฐ ๋ฐฐ์น๋ฅผ ์ฐ์๋ ๋ฉ๋ชจ๋ฆฌ๊ฐ ํฐ์ ธ๋ฒ๋ ค. ๐ฅ
ํนํ ์ญ์ ํ(Backpropagation) ๊ณผ์ ์์ ์ค๊ฐ ํ์ฑํ ๊ฐ๋ค์ ๋ชจ๋ ์ ์ฅํด์ผ ํ๋๊น ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ด ์์ฒญ๋๊ฒ ๋์ด๋๊ฑฐ๋ .
3๏ธโฃ ํ์ต ๋ถ์์ ์ฑ
ํ์ต๋ฅ (Learning Rate)์ด ๋๋ฌด ํฌ๋ฉด ๋ฐ์ฐํ๊ณ , ๋๋ฌด ์์ผ๋ฉด ์๋ ด์ด ๋๋ ค.
Gradient Vanishing์ด๋ Exploding ๋ฌธ์ ๋ ์๊ณ , Local Minima์ ๋น ์ง๋ ๊ฒฝ์ฐ๋ ์์ง. ๐
โก ์๊ณ ๋ฆฌ์ฆ ์ต์ ํ ํต์ฌ ์ ๋ต
๐ฏ 1. ํจ์จ์ ์ธ ์ตํฐ๋ง์ด์ ์ ํ
์ตํฐ๋ง์ด์ ๋ ๋ชจ๋ธ์ด ํ์ตํ๋ ๋ฐฉ์์ ๊ฒฐ์ ํ๋ ํต์ฌ ์์์ผ. ๊ฐ์ ๋ชจ๋ธ์ด๋ผ๋ ์ด๋ค ์ตํฐ๋ง์ด์ ๋ฅผ ์ฐ๋๋์ ๋ฐ๋ผ ํ์ต ์๋์ ์ต์ข ์ฑ๋ฅ์ด ํฌ๊ฒ ๋ฌ๋ผ์ ธ! ๐
โข ๊ฐ์ฅ ๊ธฐ๋ณธ์ ์ธ ๋ฐฉ๋ฒ์ด์ง๋ง ์ฌ์ ํ ๊ฐ๋ ฅํด
โข ๋ชจ๋ฉํ ์ ์ถ๊ฐํ๋ฉด ์ฑ๋ฅ์ด ํฌ๊ฒ ํฅ์๋ผ
โข ํ์ต๋ฅ ์กฐ์ ์ด ๊น๋ค๋กญ๋ค๋ ๋จ์ ์ด ์์ด
Adam (Adaptive Moment Estimation)
โข ํ์ฌ ๊ฐ์ฅ ๋ง์ด ์ฐ์ด๋ ์ตํฐ๋ง์ด์ ์ผ
โข ํ์ต๋ฅ ์ ์๋์ผ๋ก ์กฐ์ ํด์ค์ ํธ๋ฆฌํด
โข ๋น ๋ฅธ ์๋ ด ์๋๊ฐ ์ฅ์ ์ด์ง
โข ํ์ง๋ง ์ผ๋ฐํ ์ฑ๋ฅ์ SGD๋ณด๋ค ์ฝ๊ฐ ๋จ์ด์ง ์ ์์ด
AdamW
โข Adam์ ๊ฐ์ ๋ฒ์ ์ผ๋ก Weight Decay๋ฅผ ์ ๋๋ก ๊ตฌํํ์ด
โข Transformer ๋ชจ๋ธ์์ ํนํ ์ข์ ์ฑ๋ฅ์ ๋ณด์ฌ
โข BERT, GPT ๊ฐ์ ๋ํ ๋ชจ๋ธ ํ์ต์ ํ์ค์ผ๋ก ์ฌ์ฉ๋ผ
LAMB (Layer-wise Adaptive Moments optimizer for Batch training)
โข ๋๊ท๋ชจ ๋ฐฐ์น ํ์ต์ ์ต์ ํ๋์ด ์์ด
โข BERT๋ฅผ 76๋ถ ๋ง์ ํ์ต์ํจ ๊ฑธ๋ก ์ ๋ช ํ์ง!
โข ๋ ์ด์ด๋ณ๋ก ํ์ต๋ฅ ์ ๋ค๋ฅด๊ฒ ์ ์ฉํด
๐ง 2. ํ์ต๋ฅ ์ค์ผ์ค๋ง
ํ์ต๋ฅ ์ ๊ณ ์ ๊ฐ์ผ๋ก ์ฐ๋ ๊ฑด ์ด์ ์๋ ๋ฐฉ์์ด์ผ. ํ์ต ๊ณผ์ ์ ๋ฐ๋ผ ๋์ ์ผ๋ก ์กฐ์ ํ๋ ๊ฒ ํจ์ฌ ํจ๊ณผ์ ์ด๊ฑฐ๋ ! ๐
์ฒ์์๋ ํ์ต๋ฅ ์ ์ฒ์ฒํ ์ฌ๋ฆฌ๋ค๊ฐ(Warm-up), ์ดํ ์ฝ์ฌ์ธ ํจ์ ํํ๋ก ๋ถ๋๋ฝ๊ฒ ๊ฐ์์ํค๋ ๋ฐฉ๋ฒ์ด์ผ.
๋๋ถ๋ถ์ ์ต์ ๋ชจ๋ธ์์ ํ์ค์ผ๋ก ์ฌ์ฉ๋๊ณ ์์ด! โจ
Step Decay
์ผ์ ์ํฌํฌ๋ง๋ค ํ์ต๋ฅ ์ ์ ๋ฐ์ผ๋ก ์ค์ด๋ ๋ฐฉ์.
๊ฐ๋จํ์ง๋ง ํจ๊ณผ์ ์ด์ผ. ํนํ ์ด๋ฏธ์ง ๋ถ๋ฅ ํ์คํฌ์์ ์ ๋จนํ!
Reduce on Plateau
๊ฒ์ฆ ์์ค์ด ๊ฐ์ ๋์ง ์์ผ๋ฉด ์๋์ผ๋ก ํ์ต๋ฅ ์ ์ค์ฌ์ฃผ๋ ๋ฐฉ์.
๋ชจ๋ธ์ด ์ ์ฒด๋๋ ๊ฑธ ๋ฐฉ์งํ ์ ์์ด. ๐ฏ
๐พ 3. ๋ฉ๋ชจ๋ฆฌ ์ต์ ํ ๊ธฐ๋ฒ
GPU ๋ฉ๋ชจ๋ฆฌ๋ ๊ธ์ด์ผ, ๊ธ! ๐ ํจ์จ์ ์ผ๋ก ์ฌ์ฉํ๋ ๊ฒ ์ ๋ง ์ค์ํด.
Gradient Checkpointing
์ค๊ฐ ํ์ฑํ ๊ฐ์ ๋ชจ๋ ์ ์ฅํ์ง ์๊ณ , ํ์ํ ๋ ๋ค์ ๊ณ์ฐํ๋ ๋ฐฉ์์ด์ผ.
๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ ํฌ๊ฒ ์ค์ผ ์ ์์ง๋ง, ๊ณ์ฐ ์๊ฐ์ ์ฝ๊ฐ ๋์ด๋. ํ์ง๋ง ๊ทธ๋งํ ๊ฐ์น๊ฐ ์์ด! ๐
์ค์ ๋ก ์ด ๊ธฐ๋ฒ์ ์ฐ๋ฉด ๋ฐฐ์น ์ฌ์ด์ฆ๋ฅผ 2~3๋ฐฐ ๋๋ฆด ์ ์๊ฑฐ๋ . ํฐ ๋ฐฐ์น๋ก ํ์ตํ๋ฉด ์ผ๋ฐํ ์ฑ๋ฅ๋ ์ข์์ง๊ณ !
FP32(32๋นํธ ๋ถ๋์์์ ) ๋์ FP16(16๋นํธ)์ ์ฌ์ฉํ๋ ๊ฑฐ์ผ.
๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ด ์ ๋ฐ์ผ๋ก ์ค๊ณ , ๊ณ์ฐ ์๋๋ 2๋ฐฐ ๊ฐ๊น์ด ๋นจ๋ผ์ ธ! ๐
NVIDIA์ Tensor Core๋ฅผ ํ์ฉํ๋ฉด ๋์ฑ ๊ทน์ ์ธ ์ฑ๋ฅ ํฅ์์ ๋ณผ ์ ์์ด.
PyTorch์ torch.cuda.amp๋ TensorFlow์ mixed_precision API๋ฅผ ์ฐ๋ฉด ์ฝ๊ฒ ์ ์ฉํ ์ ์์ด.
์์ ๋ฐฐ์น๋ก ์ฌ๋ฌ ๋ฒ forward pass๋ฅผ ํ๊ณ , gradient๋ฅผ ๋์ ํ ๋ค์ ํ ๋ฒ์ ์
๋ฐ์ดํธํ๋ ๋ฐฉ์์ด์ผ.
๋ฉ๋ชจ๋ฆฌ๊ฐ ๋ถ์กฑํ ๋ ํฐ ๋ฐฐ์น ํจ๊ณผ๋ฅผ ๋ผ ์ ์๋ ๊ฟํ! ๐ฏ
๐๏ธ ๋ชจ๋ธ ์ํคํ ์ฒ ์ต์ ํ
๐ฌ 1. ๊ฒฝ๋ํ ๊ธฐ๋ฒ๋ค
๋ชจ๋ธ์ ์๊ณ ๋น ๋ฅด๊ฒ ๋ง๋ค๋ฉด์๋ ์ฑ๋ฅ์ ์ ์งํ๋ ๊ฒ ๋ชฉํ์ผ! ํนํ ๋ชจ๋ฐ์ผ์ด๋ ์ฃ์ง ๋๋ฐ์ด์ค์ ๋ฐฐํฌํ ๋ ํ์์ ์ด์ง. ๐ฑ
Pruning (๊ฐ์ง์น๊ธฐ)
์ค์ํ์ง ์์ ๋ด๋ฐ์ด๋ ์ฐ๊ฒฐ์ ์ ๊ฑฐํ๋ ๋ฐฉ๋ฒ์ด์ผ.
๋ง์น ๋๋ฌด ๊ฐ์ง์น๊ธฐํ๋ฏ์ด ๋ถํ์ํ ๋ถ๋ถ์ ์๋ผ๋ด๋ ๊ฑฐ์ง! โ๏ธ
๊ตฌ์กฐ์ ํ๋ฃจ๋(Structured Pruning): ์ ์ฒด ํํฐ๋ ์ฑ๋์ ์ ๊ฑฐ
๋น๊ตฌ์กฐ์ ํ๋ฃจ๋(Unstructured Pruning): ๊ฐ๋ณ ๊ฐ์ค์น๋ฅผ 0์ผ๋ก ๋ง๋ฆ
์ค์ ๋ก 50~90%์ ํ๋ผ๋ฏธํฐ๋ฅผ ์ ๊ฑฐํด๋ ์ฑ๋ฅ ์ ํ๊ฐ ๊ฑฐ์ ์๋ ๊ฒฝ์ฐ๊ฐ ๋ง์!
32๋นํธ ๋ถ๋์์์ ์ 8๋นํธ ์ ์๋ก ๋ณํํ๋ ๊ฑฐ์ผ.
๋ชจ๋ธ ํฌ๊ธฐ๊ฐ 4๋ถ์ 1๋ก ์ค๊ณ , ์ถ๋ก ์๋๋ ํจ์ฌ ๋นจ๋ผ์ ธ! โก
Post-Training Quantization: ํ์ต ํ ์์ํ (๊ฐ๋จํ์ง๋ง ์ ํ๋ ์์ค ์์)
Quantization-Aware Training: ํ์ต ์ค ์์ํ ๊ณ ๋ ค (์ ํ๋ ์ ์ง ๊ฐ๋ฅ)
TensorFlow Lite๋ PyTorch Mobile์์ ์ฝ๊ฒ ์ ์ฉํ ์ ์์ด.
ํฐ ๋ชจ๋ธ(Teacher)์ ์ง์์ ์์ ๋ชจ๋ธ(Student)์๊ฒ ์ ๋ฌํ๋ ๋ฐฉ๋ฒ์ด์ผ. ๐
Teacher ๋ชจ๋ธ์ ์ถ๋ ฅ(Soft Labels)์ Student ๋ชจ๋ธ์ด ๋ชจ๋ฐฉํ๋๋ก ํ์ต์ํค๋ ๊ฑฐ์ง.
BERT๋ฅผ ์ฆ๋ฅํ DistilBERT๋ ํฌ๊ธฐ๋ 40% ์ค์์ง๋ง ์ฑ๋ฅ์ 97% ์ ์งํ์ด!
โ๏ธ 2. ํจ์จ์ ์ธ ์ํคํ ์ฒ ์ค๊ณ
Depthwise Separable Convolution
์ผ๋ฐ Convolution์ Depthwise์ Pointwise๋ก ๋ถ๋ฆฌํ๋ ๊ฑฐ์ผ.
๊ณ์ฐ๋์ 8~9๋ฐฐ ์ค์ผ ์ ์์ด! MobileNet์ด ๋ํ์ ์ธ ์์์ง. ๐ฒ
Transformer์ Self-Attention์ O(nยฒ) ๋ณต์ก๋๋ฅผ ๊ฐ์ง๊ณ ์์ด์ ๊ธด ์ํ์ค ์ฒ๋ฆฌ๊ฐ ์ด๋ ค์.
์ด๋ฅผ ๊ฐ์ ํ ๋ฐฉ๋ฒ๋ค์ด ๋ง์ด ๋์์ด:
Linformer: O(n)์ผ๋ก ๋ณต์ก๋ ๊ฐ์
Performer: ์ปค๋ ๊ธฐ๋ฒ์ผ๋ก ์ ํ ๋ณต์ก๋ ๋ฌ์ฑ
Flash Attention: ๋ฉ๋ชจ๋ฆฌ ์ ๊ทผ ํจํด ์ต์ ํ๋ก 2~4๋ฐฐ ์๋ ํฅ์ ๐
AI๊ฐ AI ์ํคํ
์ฒ๋ฅผ ์ค๊ณํ๋ ๊ฑฐ์ผ! ๐ค
์๋์ผ๋ก ์ต์ ์ ๊ตฌ์กฐ๋ฅผ ์ฐพ์์ฃผ๋๊น ์์ฒญ ํธ๋ฆฌํ์ง.
EfficientNet์ด NAS๋ก ๋ง๋ค์ด์ง ๋ํ์ ์ธ ๋ชจ๋ธ์ด์ผ.
๊ธฐ์กด ๋ชจ๋ธ๋ณด๋ค ํ๋ผ๋ฏธํฐ๋ 8.4๋ฐฐ ์ ์ผ๋ฉด์ ์ ํ๋๋ ๋ ๋์!
๐ ๋ฐ์ดํฐ ํจ์จ์ ํ์ต ์ ๋ต
๐จ 1. Data Augmentation (๋ฐ์ดํฐ ์ฆ๊ฐ)
๋ฐ์ดํฐ๊ฐ ๋ถ์กฑํ ๋ ์ธ์์ ์ผ๋ก ๋๋ฆฌ๋ ๋ฐฉ๋ฒ์ด์ผ. ๋จ์ํ ์๋ง ๋๋ฆฌ๋ ๊ฒ ์๋๋ผ ๋ชจ๋ธ์ ์ผ๋ฐํ ๋ฅ๋ ฅ์ ๋์ฌ์ค! ๐
โข ํ์ (Rotation), ๋ฐ์ (Flip), ํฌ๋กญ(Crop)
โข ๋ฐ๊ธฐ/๋๋น ์กฐ์ , ์์ ๋ณํ
โข ๋ ธ์ด์ฆ ์ถ๊ฐ, ๋ธ๋ฌ ์ฒ๋ฆฌ
๊ณ ๊ธ ๊ธฐ๋ฒ
โข Mixup: ๋ ์ด๋ฏธ์ง๋ฅผ ์์ด์ ์๋ก์ด ์ํ ์์ฑ
โข CutMix: ์ด๋ฏธ์ง ์ผ๋ถ๋ฅผ ๋ค๋ฅธ ์ด๋ฏธ์ง๋ก ๊ต์ฒด
โข AutoAugment: ์ต์ ์ ์ฆ๊ฐ ์ ์ฑ ์ ์๋์ผ๋ก ์ฐพ์์ค
โข RandAugment: ๋ฌด์์๋ก ์ฆ๊ฐ ์ ์ฉ (๋ ๊ฐ๋จํ๊ณ ํจ๊ณผ์ !)
ํ ์คํธ ๋ฐ์ดํฐ ์ฆ๊ฐ
โข Back Translation: ๋ค๋ฅธ ์ธ์ด๋ก ๋ฒ์ญ ํ ๋ค์ ๋ฒ์ญ
โข Synonym Replacement: ๋์์ด๋ก ๋จ์ด ๊ต์ฒด
โข Random Insertion/Deletion: ๋จ์ด ์ถ๊ฐ/์ญ์
โข Contextual Word Embeddings: BERT๋ก ๋ฌธ๋งฅ ๊ณ ๋ คํ ์ฆ๊ฐ
๐ฏ 2. Transfer Learning & Fine-tuning
์ฒ์๋ถํฐ ํ์ตํ์ง ๋ง๊ณ , ์ด๋ฏธ ํ์ต๋ ๋ชจ๋ธ์ ํ์ฉํ๋ ๊ฑฐ์ผ! ์๊ฐ๊ณผ ๋ฐ์ดํฐ๋ฅผ ์์ฒญ๋๊ฒ ์ ์ฝํ ์ ์์ด. ๐
ํจ๊ณผ์ ์ธ Fine-tuning ์ ๋ต
1๋จ๊ณ: Feature Extraction
์ฌ์ ํ์ต ๋ชจ๋ธ์ ๊ฐ์ค์น๋ฅผ ๊ณ ์ (freeze)ํ๊ณ , ๋ง์ง๋ง ๋ ์ด์ด๋ง ํ์ต์์ผ.
๋ฐ์ดํฐ๊ฐ ์ ๋ง ์ ์ ๋ ์ ์ฉํด! ๐
2๋จ๊ณ: Gradual Unfreezing
๋ค์ชฝ ๋ ์ด์ด๋ถํฐ ์ฒ์ฒํ ํ์ด๊ฐ๋ฉฐ ํ์ต์ํค๋ ๊ฑฐ์ผ.
๊ธ๊ฒฉํ ๋ณํ๋ฅผ ๋ฐฉ์งํ ์ ์์ด.
3๋จ๊ณ: Discriminative Learning Rates
๋ ์ด์ด๋ง๋ค ๋ค๋ฅธ ํ์ต๋ฅ ์ ์ ์ฉํด.
์์ชฝ ๋ ์ด์ด๋ ์์ ํ์ต๋ฅ , ๋ค์ชฝ์ ํฐ ํ์ต๋ฅ ์ ์จ! ๐
๐ 3. Curriculum Learning
์ฌ๋์ด ๊ณต๋ถํ๋ฏ์ด ์ฌ์ด ๊ฒ๋ถํฐ ์ด๋ ค์ด ๊ฒ ์์๋ก ํ์ต์ํค๋ ๋ฐฉ๋ฒ์ด์ผ! ๐
์๋ฅผ ๋ค์ด ์ด๋ฏธ์ง ๋ถ๋ฅ์์:
1. ๋จผ์ ๋ช
ํํ ์ด๋ฏธ์ง๋ก ํ์ต
2. ์ ์ฐจ ํ๋ฆฟํ๊ฑฐ๋ ๋ณต์กํ ์ด๋ฏธ์ง ์ถ๊ฐ
3. ๋ง์ง๋ง์ ๊ฐ์ฅ ์ด๋ ค์ด ์ํ๋ค๋ก ๋ง๋ฌด๋ฆฌ
์ด๋ ๊ฒ ํ๋ฉด ์๋ ด ์๋๊ฐ ๋นจ๋ผ์ง๊ณ ์ต์ข
์ฑ๋ฅ๋ ์ข์์ ธ! โจ
๐ฒ 4. Few-Shot & Zero-Shot Learning
๋ฐ์ดํฐ๊ฐ ์ ๋ง ๋ถ์กฑํ ๋ ์ฐ๋ ๊ณ ๊ธ ๊ธฐ๋ฒ์ด์ผ.
Few-Shot Learning
ํด๋์ค๋น ๋ช ๊ฐ ์ํ๋ง์ผ๋ก ํ์ตํ๋ ๊ฑฐ์ผ.
Meta-Learning์ด๋ Prototypical Networks ๊ฐ์ ๋ฐฉ๋ฒ์ ์จ.
Zero-Shot Learning
์์ ํ์ต ๋ฐ์ดํฐ ์์ด ์๋ก์ด ํด๋์ค๋ฅผ ์ธ์ํ๋ ๊ฑฐ์ผ! ๐ฑ
CLIP ๊ฐ์ ๋ชจ๋ธ์ด ๋ํ์ ์ด์ง. ํ
์คํธ ์ค๋ช
๋ง์ผ๋ก ์ด๋ฏธ์ง๋ฅผ ๋ถ๋ฅํ ์ ์์ด.
๐ฅ๏ธ ํ๋์จ์ด ํ์ฉ ์ต์ ํ
๐ช 1. GPU ํ์ฉ ๊ทน๋ํ
GPU๋ ๋น์ผ ์์์ด์ผ. ์ต๋ํ ํจ์จ์ ์ผ๋ก ์จ์ผ์ง! ๐ฐ
๋ฐฐ์น ์ฌ์ด์ฆ ์ต์ ํ
๋๋ฌด ์์ผ๋ฉด GPU๊ฐ ๋๊ณ , ๋๋ฌด ํฌ๋ฉด ๋ฉ๋ชจ๋ฆฌ๊ฐ ๋ถ์กฑํด.
GPU ๋ฉ๋ชจ๋ฆฌ๋ฅผ 90% ์ ๋ ์ฌ์ฉํ๋ ๋ฐฐ์น ์ฌ์ด์ฆ๋ฅผ ์ฐพ๋ ๊ฒ ์ข์! ๐ฏ
torch.cuda.memory_summary()๋ก ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ ์ฒดํฌํ๋ฉด์ ์กฐ์ ํด๋ด.
GPU๋ ๋น ๋ฅธ๋ฐ ๋ฐ์ดํฐ ๋ก๋ฉ์ด ๋๋ฆฌ๋ฉด GPU๊ฐ ๋๊ฒ ๋ผ.
ํด๊ฒฐ ๋ฐฉ๋ฒ๋ค:
โข num_workers ๋๋ฆฌ๊ธฐ (๋ณดํต 4~8์ด ์ ๋น)
โข pin_memory=True ์ค์
โข ๋ฐ์ดํฐ๋ฅผ SSD์ ์ ์ฅ
โข ์ ์ฒ๋ฆฌ๋ฅผ ๋ฏธ๋ฆฌ ํด๋๊ธฐ (Preprocessing)
โข DALI(Data Loading Library) ๊ฐ์ ๊ณ ์ ๋ก๋ ์ฌ์ฉ ๐
๐ 2. ๋ถ์ฐ ํ์ต (Distributed Training)
์ฌ๋ฌ GPU๋ ์ฌ๋ฌ ์๋ฒ๋ฅผ ๋์์ ์ฌ์ฉํ๋ ๊ฑฐ์ผ. ํ์ต ์๊ฐ์ ํ๊ธฐ์ ์ผ๋ก ์ค์ผ ์ ์์ด! โก
๊ฐ์ฅ ์ผ๋ฐ์ ์ธ ๋ฐฉ๋ฒ์ด์ผ. ๋ฐ์ดํฐ๋ฅผ ๋๋ ์ ๊ฐ GPU์์ ๋์์ ์ฒ๋ฆฌํด.
PyTorch์ DistributedDataParallel์ด ๋ํ์ ์ด์ง.
Model Parallelism
๋ชจ๋ธ์ด ๋๋ฌด ์ปค์ ํ GPU์ ์ ๋ค์ด๊ฐ ๋ ์จ.
๋ชจ๋ธ์ ์ฌ๋ฌ ์กฐ๊ฐ์ผ๋ก ๋๋ ์ ๊ฐ GPU์ ๋ฐฐ์นํด.
Pipeline Parallelism
๋ชจ๋ธ์ ๋ ์ด์ด๋ณ๋ก ๋๋ ์ ํ์ดํ๋ผ์ธ์ฒ๋ผ ์ฒ๋ฆฌํด.
GPipe๋ PipeDream ๊ฐ์ ํ๋ ์์ํฌ๊ฐ ์์ด.
Tensor Parallelism
๊ฐ๋ณ ๋ ์ด์ด ๋ด๋ถ๋ฅผ ๋ณ๋ ฌํํ๋ ๊ฑฐ์ผ.
Megatron-LM์ด ์ด ๋ฐฉ์์ ์จ์ ์ด๋ํ ๋ชจ๋ธ์ ํ์ต์์ผ!
โ๏ธ 3. ํด๋ผ์ฐ๋ ์ต์ ํ
AWS, GCP, Azure ๊ฐ์ ํด๋ผ์ฐ๋๋ฅผ ์ธ ๋ ๋น์ฉ์ ์ค์ด๋ ํ๋ค์ด์ผ! ๐ธ
Spot Instance ํ์ฉ
์ผ๋ฐ ์ธ์คํด์ค๋ณด๋ค 70~90% ์ ๋ ดํด!
์ค๋จ๋ ์ ์์ง๋ง, ์ฒดํฌํฌ์ธํธ๋ฅผ ์์ฃผ ์ ์ฅํ๋ฉด ๋ฌธ์ ์์ด.
ํ์ต ์ค๊ฐ์ค๊ฐ ๋ชจ๋ธ์ ์ ์ฅํ๋ ์ต๊ด์ ๋ค์ด์! ๐พ
๋ฌด์กฐ๊ฑด ๋น์ผ ๊ฒ ์ข์ ๊ฑด ์๋์ผ.
โข ์์ ๋ชจ๋ธ: T4, V100 (16GB)
โข ์ค๊ฐ ๋ชจ๋ธ: A10, A100 (40GB)
โข ๋ํ ๋ชจ๋ธ: A100 (80GB), H100
ํ์ ์ด์์ผ๋ก ํฐ ์ธ์คํด์ค๋ฅผ ์ฐ๋ฉด ๋๋ง ๋ญ๋น์ผ! ๐ค
๐ ๋ชจ๋ํฐ๋ง๊ณผ ๋๋ฒ๊น
๐ 1. ํ์ต ๊ณผ์ ๋ชจ๋ํฐ๋ง
ํ์ต์ด ์ ๋๊ณ ์๋์ง ๊ณ์ ์ฒดํฌํด์ผ ํด! ๋ฌธ์ ๋ฅผ ๋นจ๋ฆฌ ๋ฐ๊ฒฌํ ์๋ก ์๊ฐ๊ณผ ๋น์ฉ์ ์๋ ์ ์๊ฑฐ๋ . ๐
ํ์ ์งํ๋ค
Loss ๊ณก์
โข Training Loss๊ฐ ๊ฐ์ํ๋์ง
โข Validation Loss๊ฐ ํจ๊ป ๊ฐ์ํ๋์ง
โข ๋ ์ฌ์ด์ ๊ฒฉ์ฐจ๊ฐ ๋ฒ์ด์ง๋ฉด ๊ณผ์ ํฉ(Overfitting) ์ ํธ์ผ! ๐จ
Learning Rate
โข ๋๋ฌด ํฌ๋ฉด ๋ฐ์ฐ, ๋๋ฌด ์์ผ๋ฉด ๋๋ ค
โข Learning Rate Finder๋ก ์ต์ ๊ฐ ์ฐพ๊ธฐ
Gradient ํต๊ณ
โข Gradient Norm์ด ๋๋ฌด ํฌ๋ฉด Exploding
โข ๋๋ฌด ์์ผ๋ฉด Vanishing
โข Gradient Clipping์ผ๋ก ์์ ํ ๊ฐ๋ฅ
GPU ์ฌ์ฉ๋ฅ
โข 90% ์ด์ ์ ์ง๋๋ ๊ฒ ์ด์์
โข ๋ฎ์ผ๋ฉด ๋ฐ์ดํฐ ๋ก๋ฉ์ด๋ ์ ์ฒ๋ฆฌ๊ฐ ๋ณ๋ชฉ
TensorBoard
๊ฐ์ฅ ๊ธฐ๋ณธ์ ์ด๊ณ ๊ฐ๋ ฅํ ์๊ฐํ ๋๊ตฌ์ผ. ์ค์๊ฐ์ผ๋ก ํ์ต ๊ณผ์ ์ ๋ณผ ์ ์์ด! ๐
Weights & Biases (wandb)
ํด๋ผ์ฐ๋ ๊ธฐ๋ฐ ์คํ ์ถ์ ๋๊ตฌ์ผ. ์ฌ๋ฌ ์คํ์ ๋น๊ตํ๊ธฐ ์ ๋ง ํธํด!
ํ์ดํผํ๋ผ๋ฏธํฐ ํ๋๋ ์๋์ผ๋ก ํด์ค. ๐ฏ
MLflow
์คํ ๊ด๋ฆฌ, ๋ชจ๋ธ ๋ฒ์ ๊ด๋ฆฌ, ๋ฐฐํฌ๊น์ง ํตํฉ ์ง์!
Neptune.ai
ํ ํ์
์ ํนํ๋ ๋๊ตฌ์ผ. ์คํ ๊ฒฐ๊ณผ๋ฅผ ๊ณต์ ํ๊ธฐ ์ข์.
๐ 2. ์ผ๋ฐ์ ์ธ ๋ฌธ์ ์ ํด๊ฒฐ๋ฒ
โข ํ์ต๋ฅ ์ด ๋๋ฌด ์์ โ 10๋ฐฐ ํค์๋ณด๊ธฐ
โข ํ์ต๋ฅ ์ด ๋๋ฌด ํผ โ 10๋ฐฐ ์ค์ฌ๋ณด๊ธฐ
โข ์ด๊ธฐํ๊ฐ ์๋ชป๋จ โ He/Xavier ์ด๊ธฐํ ์ฌ์ฉ
โข ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ ์ค๋ฅ โ ์ ๊ทํ ํ์ธ
โข ๋ฐฐ์น ์ ๊ทํ ๋ฌธ์ โ ๋ฐฐ์น ์ฌ์ด์ฆ ๋๋ฆฌ๊ธฐ
โข ๋ฐ์ดํฐ ์ฆ๊ฐ ๊ฐํ ๐จ
โข Dropout ๋น์จ ๋์ด๊ธฐ (0.3 โ 0.5)
โข Weight Decay ์ฆ๊ฐ
โข Early Stopping ์ ์ฉ
โข ๋ชจ๋ธ ํฌ๊ธฐ ์ค์ด๊ธฐ
โข ๋ ๋ง์ ๋ฐ์ดํฐ ์์ง
โ GPU ์ฌ์ฉ๋ฅ ํ์ธ (nvidia-smi)
โ ๋ฐฐ์น ์ฌ์ด์ฆ ์ต๋ํ ํค์ฐ๊ธฐ
โ Mixed Precision ์ ์ฉ
โ Data Loading ๋ณ๋ชฉ ์ ๊ฑฐ
โ ๋ถํ์ํ ์ฐ์ฐ ์ ๊ฑฐ (eval ๋ชจ๋ ํ์ธ)
โ ํ๋กํ์ผ๋ง์ผ๋ก ๋ณ๋ชฉ ์ง์ ์ฐพ๊ธฐ
๐ง ๋ฐฐ์น ์ฌ์ด์ฆ ์ค์ด๊ธฐ
๐ง Gradient Accumulation ์ฌ์ฉ
๐ง Gradient Checkpointing ์ ์ฉ
๐ง Mixed Precision ์ผ๊ธฐ
๐ง ๋ถํ์ํ ๋ณ์ del๋ก ์ญ์
๐ง torch.cuda.empty_cache() ํธ์ถ
๐ ์ค์ ์ต์ ํ ์ํฌํ๋ก์ฐ
๐ ๋จ๊ณ๋ณ ์ฒดํฌ๋ฆฌ์คํธ
์ค์ ๋ก ํ๋ก์ ํธ๋ฅผ ์งํํ ๋ ์ด ์์๋๋ก ํ๋ฉด ์ค์๋ฅผ ์ค์ผ ์ ์์ด! โ
2๏ธโฃ ๋ฒ ์ด์ค๋ผ์ธ ๋ชจ๋ธ ํ์ต (๊ฐ๋จํ ๋ชจ๋ธ๋ก ์์)
3๏ธโฃ ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ ๊ฒ์ฆ
4๏ธโฃ ๋ชจ๋ํฐ๋ง ๋๊ตฌ ์ค์ (TensorBoard/wandb)
5๏ธโฃ ์ฒดํฌํฌ์ธํธ ์ ์ฅ ๋ก์ง ๊ตฌํ
๋ชฉํ: ์ ์ฒด ํ์ดํ๋ผ์ธ์ด ๋ฌธ์ ์์ด ๋์๊ฐ๋์ง ํ์ธ! ๐
2๏ธโฃ Transfer Learning ์ ์ฉ
3๏ธโฃ ๋ฐ์ดํฐ ์ฆ๊ฐ ๊ธฐ๋ฒ ์ถ๊ฐ
4๏ธโฃ ํ์ดํผํ๋ผ๋ฏธํฐ ํ๋ ์์
5๏ธโฃ ์์๋ธ ๊ธฐ๋ฒ ๊ณ ๋ ค
๋ชฉํ: ์ฑ๋ฅ ๋ชฉํ์น ๋ฌ์ฑ! ๐ฏ
2๏ธโฃ ๋ฐฐ์น ์ฌ์ด์ฆ ์ต์ ํ
3๏ธโฃ Gradient Accumulation ์ค์
4๏ธโฃ ๋ถ์ฐ ํ์ต ์ ์ฉ (ํ์์)
5๏ธโฃ ํ๋กํ์ผ๋ง์ผ๋ก ๋ณ๋ชฉ ์ ๊ฑฐ
๋ชฉํ: ํ์ต ์๊ฐ 50% ์ด์ ๋จ์ถ! โก
2๏ธโฃ Quantization ํ ์คํธ
3๏ธโฃ Knowledge Distillation ์๋
4๏ธโฃ ONNX ๋ณํ ๋ฐ ์ต์ ํ
5๏ธโฃ ์ถ๋ก ์๋ ๋ฒค์น๋งํฌ
๋ชฉํ: ๋ฐฐํฌ ๊ฐ๋ฅํ ๊ฒฝ๋ ๋ชจ๋ธ ์์ฑ! ๐
๐ฏ ํ์ดํผํ๋ผ๋ฏธํฐ ํ๋ ์ ๋ต
ํ์ดํผํ๋ผ๋ฏธํฐ๋ ๋ชจ๋ธ ์ฑ๋ฅ์ ์ข์ฐํ๋ ํต์ฌ ์์์ผ. ํจ์จ์ ์ผ๋ก ์ฐพ๋ ๋ฐฉ๋ฒ์ ์์๋ณด์! ๐
์ค์๋ ์์
1. Learning Rate - ๊ฐ์ฅ ์ค์! ๐ฅ
2. Batch Size - ์ฑ๋ฅ๊ณผ ์๋์ ์ง์ ์ํฅ
3. Optimizer - Adam vs AdamW vs SGD
4. Weight Decay - ์ ๊ทํ ๊ฐ๋
5. Dropout Rate - ๊ณผ์ ํฉ ๋ฐฉ์ง
6. Model Architecture - ๋ ์ด์ด ์, ํ๋ ํฌ๊ธฐ ๋ฑ
์์์๋ถํฐ ์์๋๋ก ํ๋ํ๋ ๊ฒ ํจ์จ์ ์ด์ผ!
Grid Search
๋ชจ๋ ์กฐํฉ์ ์๋ํ๋ ๋ฐฉ๋ฒ. ํ์คํ์ง๋ง ์๊ฐ์ด ์ค๋ ๊ฑธ๋ ค. โฐ
Random Search
๋ฌด์์๋ก ์ํ๋ง. Grid๋ณด๋ค ํจ์จ์ ์ด์ผ!
์ค์ ๋ก Grid๋ณด๋ค ๋ ์ข์ ๊ฒฐ๊ณผ๋ฅผ ๋ผ ๋๊ฐ ๋ง์. ๐ฒ
Bayesian Optimization
์ด์ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํ์ผ๋ก ๋ค์ ์๋๋ฅผ ๊ฒฐ์ ํด.
Optuna๋ Ray Tune ๊ฐ์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๊ฐ ์ด ๋ฐฉ์์ ์จ. ๐ง
Population Based Training (PBT)
์ฌ๋ฌ ๋ชจ๋ธ์ ๋์์ ํ์ต์ํค๋ฉด์ ์ข์ ํ์ดํผํ๋ผ๋ฏธํฐ๋ฅผ ๊ณต์ ํด.
DeepMind๊ฐ ๊ฐ๋ฐํ ๋ฐฉ๋ฒ์ผ๋ก ๋งค์ฐ ํจ๊ณผ์ ์ด์ผ! ๐
๐ ์ต์ ํธ๋ ๋์ ๋ฏธ๋ ๋ฐฉํฅ
๐ 1. ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ (LLM) ์ต์ ํ
ChatGPT, GPT-4, LLaMA ๊ฐ์ ์ด๋ํ ๋ชจ๋ธ๋ค์ด ๋์ธ๊ฐ ๋๋ฉด์ ์๋ก์ด ์ต์ ํ ๊ธฐ๋ฒ๋ค์ด ๊ณ์ ๋์ค๊ณ ์์ด! ๐ค
LoRA (Low-Rank Adaptation)
์ ์ฒด ๋ชจ๋ธ์ Fine-tuningํ์ง ์๊ณ , ์์ ์ด๋ํฐ๋ง ํ์ต์ํค๋ ๋ฐฉ๋ฒ์ด์ผ.
๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ๋์ 90% ์ด์ ์ค์ผ ์ ์์ด! ๐ฑ
์๋ฅผ ๋ค์ด 65B ํ๋ผ๋ฏธํฐ ๋ชจ๋ธ์ ์ผ๋ฐ GPU์์๋ Fine-tuningํ ์ ์๊ฒ ํด์ค.
Stable Diffusion ์ปค๋ฎค๋ํฐ์์ ์์ฒญ ํ๋ฐํ๊ฒ ์ฐ์ด๊ณ ์์ด.
LoRA + Quantization ์กฐํฉ์ด์ผ.
4๋นํธ ์์ํ์ LoRA๋ฅผ ํจ๊ป ์จ์ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๋์ฑ ์ ์ฝํด! ๐พ
24GB GPU ํ๋๋ก 33B ๋ชจ๋ธ์ Fine-tuningํ ์ ์์ด. ๊ฐ์ธ ์ฐ๊ตฌ์๋ค์๊ฒ ํฌ์์์ด์ง!
Attention ๊ณ์ฐ์ ํ๋์จ์ด ๋ ๋ฒจ์์ ์ต์ ํํ ๊ฑฐ์ผ.
๊ธฐ์กด๋ณด๋ค 2~4๋ฐฐ ๋น ๋ฅด๊ณ ๋ฉ๋ชจ๋ฆฌ๋ ์ ๊ฒ ์จ! โก
๊ธด ์ปจํ
์คํธ(32K ํ ํฐ ์ด์)๋ฅผ ์ฒ๋ฆฌํ ๋ ํนํ ํจ๊ณผ์ ์ด์ผ.
๐งฌ 2. Neural Architecture Search์ ์งํ
AI๊ฐ AI๋ฅผ ์ค๊ณํ๋ ์๋๊ฐ ์์ด! ๐คฏ
Once-for-All Networks
ํ๋์ ์ํผ๋ท์ ํ์ต์ํค๋ฉด, ๋ค์ํ ํฌ๊ธฐ์ ์๋ธ๋ท์ ์ถ์ถํ ์ ์์ด.
๋๋ฐ์ด์ค๋ณ๋ก ์ต์ ํ๋ ๋ชจ๋ธ์ ์ฝ๊ฒ ๋ง๋ค ์ ์์ง! ๐ฑ๐ป๐ฅ๏ธ
Google์ AutoML, Microsoft์ NNI, Amazon์ SageMaker AutoPilot ๋ฑ
ํด๋ฆญ ๋ช ๋ฒ์ผ๋ก ์ต์ ํ๋ ๋ชจ๋ธ์ ๋ง๋ค์ด์ค. ์ง์
์ฅ๋ฒฝ์ด ๋ง์ด ๋ฎ์์ก์ด! ๐
๐ 3. Green AI - ํ๊ฒฝ์ ์๊ฐํ๋ AI
AI ํ์ต์ ๋๋ ์ ๋ ฅ ์๋น๊ฐ ํ๊ฒฝ ๋ฌธ์ ๋ก ๋๋๋๊ณ ์์ด. ๐ฑ
๋ํ ๋ชจ๋ธ ํ๋ ํ์ต์ํค๋ ๋ฐ ์๋์ฐจ 5๋๊ฐ ํ์ ๋ฐฐ์ถํ๋ ํ์๋๊ณผ ๋ง๋จน๋๋ค๊ณ ํด.
๊ทธ๋์ ํจ์จ์ฑ์ด ๋จ์ํ ๋น์ฉ ๋ฌธ์ ๊ฐ ์๋๋ผ ์ค๋ฆฌ์ ๋ฌธ์ ๊ฐ ๋๊ณ ์์ด.
์ฌ์์๋์ง ๋น์จ์ด ๋์ ์๊ฐ๋์ ํ์ต์ ์ค์ผ์ค๋งํ๋ ๊ฑฐ์ผ.
ํ์ ๋ฐฐ์ถ์ 30~40% ์ค์ผ ์ ์๋! ๐ฟ
๐ฎ 4. ๋ฏธ๋ ์ ๋ง
์์ผ๋ก ์ด๋ฐ ๋ฐฉํฅ์ผ๋ก ๋ฐ์ ํ ๊ฒ ๊ฐ์:
Sparse Mixture of Experts, Conditional Computation ๋ฑ
ํ์ํ ๋ถ๋ถ๋ง ํ์ฑํํ๋ ๋ฐฉ์์ด ์ฃผ๋ฅ๊ฐ ๋ ๊ฑฐ์ผ.
2. ํ๋์จ์ด-์ํํธ์จ์ด ๊ณต๋ ์ค๊ณ
AI ์ ์ฉ ์นฉ(TPU, NPU)๊ณผ ์๊ณ ๋ฆฌ์ฆ์ด ํจ๊ป ์ต์ ํ๋ ๊ฑฐ์ผ.
Apple์ Neural Engine์ด ์ข์ ์์์ง! ๐
3. ์ฐํฉ ํ์ต(Federated Learning)
๋ฐ์ดํฐ๋ฅผ ์ค์์ ๋ชจ์ผ์ง ์๊ณ ๋ถ์ฐ ํ์ตํ๋ ๋ฐฉ์.
ํ๋ผ์ด๋ฒ์ ๋ณดํธ์ ํจ์จ์ฑ์ ๋์์! ๐
4. ์ง์์ ํ์ต(Continual Learning)
์ฒ์๋ถํฐ ๋ค์ ํ์ตํ์ง ์๊ณ ์๋ก์ด ์ง์์ ๊ณ์ ์ถ๊ฐํ๋ ๋ฐฉ์.
Catastrophic Forgetting ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ๊ฒ ํต์ฌ์ด์ผ.
5. ์์ ์ปดํจํ ํ์ฉ
์์ง์ ์ด๊ธฐ ๋จ๊ณ์ง๋ง, ํน์ ์ฐ์ฐ์์ ์์ฒญ๋ ์๋ ํฅ์์ด ๊ธฐ๋๋ผ! โ๏ธ
๐ผ ์ค๋ฌด ์ ์ฉ ์ฌ๋ก
๐ข Case Study 1: ์คํํธ์ ์ ์ถ์ฒ ์์คํ ์ต์ ํ
ํ ์ด์ปค๋จธ์ค ์คํํธ์ ์ ์ค์ ์ฌ๋ก์ผ. ์ฐธ๊ณ ํ๋ฉด ๋์์ด ๋ ๊ฑฐ์ผ! ๐ก
โข ์ถ์ฒ ๋ชจ๋ธ ์ถ๋ก ์๊ฐ: 500ms (๋๋ฌด ๋๋ฆผ!)
โข ์๋ฒ ๋น์ฉ: ์ 5000๋ง ์
โข ๋ชฉํ: 100ms ์ด๋ด, ๋น์ฉ 50% ์ ๊ฐ
์ ์ฉํ ์ต์ ํ ๊ธฐ๋ฒ
1๏ธโฃ ๋ชจ๋ธ ๊ฒฝ๋ํ: Knowledge Distillation์ผ๋ก ํ๋ผ๋ฏธํฐ 70% ๊ฐ์
2๏ธโฃ Quantization: INT8 ์์ํ ์ ์ฉ
3๏ธโฃ ์บ์ฑ: ์ธ๊ธฐ ์ํ ์ถ์ฒ ๊ฒฐ๊ณผ ๋ฏธ๋ฆฌ ๊ณ์ฐ
4๏ธโฃ ๋ฐฐ์น ์ถ๋ก : ์ฌ๋ฌ ์์ฒญ ๋ฌถ์ด์ ์ฒ๋ฆฌ
5๏ธโฃ ONNX Runtime: ์ถ๋ก ์์ง ์ต์ ํ
๊ฒฐ๊ณผ
โ ์ถ๋ก ์๊ฐ: 500ms โ 80ms (6.25๋ฐฐ ๊ฐ์ !)
โ ์๋ฒ ๋น์ฉ: 5000๋ง ์ โ 1800๋ง ์ (64% ์ ๊ฐ)
โ ์ถ์ฒ ์ ํ๋: ์คํ๋ ค 2% ํฅ์ (๋ ๋ง์ ์คํ ๊ฐ๋ฅ)
โ ์ฌ์ฉ์ ๋ง์กฑ๋: 15% ์ฆ๊ฐ ๐
๐ฎ Case Study 2: ๊ฒ์ AI ์ค์๊ฐ ์ต์ ํ
๋ชจ๋ฐ์ผ ๊ฒ์์์ NPC AI๋ฅผ ๊ตฌํํ ์ฌ๋ก์ผ.
โข ๋ฐฐํฐ๋ฆฌ ์๋ชจ ์ต์ํ
โข ๋ค์ํ ๊ธฐ๊ธฐ ์ง์ (์ ์ฌ์~๊ณ ์ฌ์)
ํด๊ฒฐ ๋ฐฉ๋ฒ
1๏ธโฃ MobileNet ๊ธฐ๋ฐ ๊ฒฝ๋ ๋ชจ๋ธ ์ค๊ณ
2๏ธโฃ Pruning์ผ๋ก ๋ชจ๋ธ ํฌ๊ธฐ 5MB ์ดํ๋ก ์์ถ
3๏ธโฃ ๊ธฐ๊ธฐ๋ณ ์ ์ํ ์ถ๋ก (๊ณ ์ฌ์: ๋ณต์กํ AI, ์ ์ฌ์: ๊ฐ๋จํ AI)
4๏ธโฃ GPU ๋์ NPU ํ์ฉ (์ ๋ ฅ ํจ์จ 3๋ฐฐ ํฅ์)
์ฑ๊ณผ
โ ์ถ๋ก ์๊ฐ: 15ms (60fps ์ ์ง ๊ฐ๋ฅ)
โ ๋ฐฐํฐ๋ฆฌ ์๋ชจ: ๊ธฐ์กด ๋๋น 40% ๊ฐ์
โ ๋ชจ๋ธ ํฌ๊ธฐ: 3.2MB (์ฑ ์ฉ๋ ๋ถ๋ด ์์)
โ ํ๋ ์ด์ด ๋ฆฌํ ์ : 25% ์ฆ๊ฐ ๐ฎ
๐ฅ Case Study 3: ์๋ฃ ์์ ๋ถ์ ์์คํ
๋ณ์์์ ์ฌ์ฉํ๋ AI ์ง๋จ ์์คํ ์ต์ ํ ์ฌ๋ก์ผ.
โข ๋น ๋ฅธ ์ง๋จ ์๋ (ํ์ ๋๊ธฐ ์๊ฐ ๋จ์ถ)
โข ์ค๋ช ๊ฐ๋ฅ์ฑ (์์ฌ๊ฐ ๊ฒฐ๊ณผ๋ฅผ ์ ๋ขฐํ ์ ์์ด์ผ ํจ)
์ต์ ํ ์ ๋ต
1๏ธโฃ Transfer Learning: ImageNet ์ฌ์ ํ์ต ๋ชจ๋ธ ํ์ฉ
2๏ธโฃ Ensemble: ์ฌ๋ฌ ๋ชจ๋ธ ์กฐํฉ์ผ๋ก ์ ํ๋ ํฅ์
3๏ธโฃ Attention Map: ์ด๋ ๋ถ์๋ฅผ ๋ณด๊ณ ํ๋จํ๋์ง ์๊ฐํ
4๏ธโฃ Mixed Precision: ํ์ต ์๊ฐ 50% ๋จ์ถ
5๏ธโฃ TensorRT: ์ถ๋ก ์ต์ ํ
์์ ๊ฒฐ๊ณผ
โ ์ ํ๋: 95.3% (์ ๋ฌธ์ ์์ค)
โ ๋ถ์ ์๊ฐ: 5๋ถ โ 30์ด
โ ์์ฌ ์ ๋ขฐ๋: 89% (์ค๋ช ๊ฐ๋ฅ์ฑ ๋๋ถ)
โ ํ๋ฃจ ์ฒ๋ฆฌ ํ์ ์: 3๋ฐฐ ์ฆ๊ฐ ๐ฅ
๐ ๏ธ ์ถ์ฒ ๋๊ตฌ์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ
๐ ํ์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ
โข ๊ฐ์ฅ ์ธ๊ธฐ ์๋ ํ๋ ์์ํฌ
โข ์ฐ๊ตฌ์ ํ๋ก๋์ ๋ชจ๋ ๊ฐ๋ฅ
โข ํ๋ถํ ์ปค๋ฎค๋ํฐ์ ์๋ฃ
โข torch.compile()๋ก ์๋ ์ต์ ํ ๊ฐ๋ฅ
TensorFlow โญโญโญโญ
โข ๊ตฌ๊ธ์ด ๋ง๋ ํ๋ ์์ํฌ
โข ํ๋ก๋์ ๋ฐฐํฌ์ ๊ฐ์
โข TensorFlow Lite๋ก ๋ชจ๋ฐ์ผ ์ต์ ํ
โข TensorFlow.js๋ก ์น ๋ฐฐํฌ ๊ฐ๋ฅ
JAX โญโญโญโญ
โข ์ต์ ํธ๋ ๋! ํจ์ํ ํ๋ก๊ทธ๋๋ฐ ์คํ์ผ
โข ์๋ ๋ฏธ๋ถ๊ณผ JIT ์ปดํ์ผ
โข ์ฐ๊ตฌ์ฉ์ผ๋ก ์ธ๊ธฐ ๊ธ์์น ์ค ๐
โข ๋ค์ํ ํ๋ ์์ํฌ ๋ชจ๋ธ์ ํตํฉ ์คํ
โข ์ถ๋ก ์๋ 2~10๋ฐฐ ํฅ์
โข ํฌ๋ก์ค ํ๋ซํผ ์ง์ ๐
TensorRT
โข NVIDIA GPU ์ต์ ํ ์์ง
โข INT8 ์์ํ ์๋ ์ง์
โข ์ต๋ 40๋ฐฐ ์๋ ํฅ์ ๊ฐ๋ฅ! ๐
OpenVINO
โข Intel CPU/GPU ์ต์ ํ
โข ์ฃ์ง ๋๋ฐ์ด์ค์ ํนํ
โข ๋ฌด๋ฃ๋ก ์ฌ์ฉ ๊ฐ๋ฅ
Apache TVM
โข ์ปดํ์ผ๋ฌ ๊ธฐ๋ฐ ์ต์ ํ
โข ๋ค์ํ ํ๋์จ์ด ์ง์
โข ์ปค์คํฐ๋ง์ด์ง ๊ฐ๋ฅ
โข ์ฌ์ฉํ๊ธฐ ์ฌ์ด ์ธํฐํ์ด์ค
โข Bayesian Optimization
โข ๋ณ๋ ฌ ์คํ ์ง์
โข ์๊ฐํ ๋๊ตฌ ๋ด์ฅ
Ray Tune
โข ๋ถ์ฐ ํ์ดํผํ๋ผ๋ฏธํฐ ํ๋
โข ๋ค์ํ ์๊ณ ๋ฆฌ์ฆ ์ง์
โข ๋๊ท๋ชจ ์คํ์ ์ ํฉ
Weights & Biases Sweeps
โข ํด๋ผ์ฐ๋ ๊ธฐ๋ฐ
โข ์คํ ์ถ์ ๊ณผ ํตํฉ
โข ํ ํ์ ๊ธฐ๋ฅ
๐ง ์ ์ฉํ ๋๊ตฌ๋ค
| ๋๊ตฌ | ์ฉ๋ | ํน์ง |
|---|---|---|
| Netron | ๋ชจ๋ธ ์๊ฐํ | ์ํคํ ์ฒ๋ฅผ ๊ทธ๋ํ๋ก ๋ณด์ฌ์ค |
| PyTorch Profiler | ์ฑ๋ฅ ๋ถ์ | ๋ณ๋ชฉ ์ง์ ์ฐพ๊ธฐ |
| NVIDIA Nsight | GPU ํ๋กํ์ผ๋ง | ์ปค๋ ๋ ๋ฒจ ์ต์ ํ |
| Model Optimizer | ์๋ ์ต์ ํ | ์ํด๋ฆญ ์ต์ ํ |
| Gradio | ๋น ๋ฅธ ๋ฐ๋ชจ | ์น ์ธํฐํ์ด์ค ์๋ ์์ฑ |
| Streamlit | ๋์๋ณด๋ | ๋ชจ๋ํฐ๋ง UI ๊ตฌ์ถ |
๐ ํ์ต ๋ฆฌ์์ค
๐ ์ถ์ฒ ๊ฐ์์ ์ฑ
โข ์ค์ ์ค์ฌ์ ๊ฐ์
โข ์ต์ ๊ธฐ๋ฒ๋ค์ ๋น ๋ฅด๊ฒ ๋ฐฐ์ธ ์ ์์ด
โข ๋ฌด๋ฃ! ๐ฐ
Stanford CS231n
โข ์ปดํจํฐ ๋น์ ๊ธฐ์ด๋ถํฐ ์ฌํ๊น์ง
โข ์ด๋ก ์ ๋ฐฐ๊ฒฝ์ด ํํํด
โข ๊ฐ์ ๋ ธํธ๊ฐ ์ ๋ง ์ ๋์ด ์์ด
DeepLearning.AI - MLOps Specialization
โข ํ๋ก๋์ ๋ฐฐํฌ์ ํ์ํ ์ง์
โข Andrew Ng ๊ต์๋์ ๊ฐ์
โข ์ค๋ฌด ์ ์ฉ์ ๋์ ๋ง์ด ๋ผ
โข ๋ฅ๋ฌ๋ ๋ฐ์ด๋ธ
โข ์ํ์ ๊ธฐ์ด๊ฐ ํํํด
โข ์จ๋ผ์ธ ๋ฌด๋ฃ ๊ณต๊ฐ ๐
"Dive into Deep Learning"
โข ์ฝ๋์ ํจ๊ป ๋ฐฐ์ฐ๊ธฐ
โข PyTorch/TensorFlow ๋ฒ์ ๋ชจ๋ ์์
โข ์ธํฐ๋ํฐ๋ธ ๋ ธํธ๋ถ ์ ๊ณต
"Efficient Deep Learning" - Gaurav Menghani
โข ์ต์ ํ์ ํนํ๋ ์ฑ
โข ์ค์ ํ์ด ๊ฐ๋
โข 2024๋ ์ต์ ๊ธฐ๋ฒ๊น์ง ๋ค๋ฃธ
๐ ์ ์ฉํ ์ปค๋ฎค๋ํฐ
Papers with Code
์ต์ ๋
ผ๋ฌธ๊ณผ ๊ตฌํ ์ฝ๋๋ฅผ ํจ๊ป ๋ณผ ์ ์์ด.
State-of-the-art ๋ชจ๋ธ๋ค์ ๋ฒค์น๋งํฌ์ ํจ๊ป ํ์ธ ๊ฐ๋ฅ! ๐
์ฌ์ ํ์ต ๋ชจ๋ธ์ ๋ณด๋ฌผ์ฐฝ๊ณ ์ผ.
์๋ง ๊ฐ์ ๋ชจ๋ธ์ ๋ฐ๋ก ๋ค์ด๋ก๋ํด์ ์ธ ์ ์์ด! ๐ค
์ปค๋ฎค๋ํฐ๋ ํ๋ฐํ๊ณ ๋ฌธ์๋ ์ ๋์ด ์์ด.
์ต์ ์ฐ๊ตฌ ๋ํฅ๊ณผ ํ ๋ก .
์ฐ๊ตฌ์๋ค์ ์ธ์ฌ์ดํธ๋ฅผ ์ป์ ์ ์์ด.
์คํ์์ค ํ๋ก์ ํธ์ ์ฑ์ง!
์ค์ ์ฝ๋๋ฅผ ๋ณด๋ฉด์ ๋ฐฐ์ฐ๋ ๊ฒ ์ต๊ณ ์ผ. ๐ป
๐ฌ ๋ง๋ฌด๋ฆฌํ๋ฉฐ
์, ์ฌ๊ธฐ๊น์ง ์ธ๊ณต์ง๋ฅ ์๊ณ ๋ฆฌ์ฆ ์ต์ ํ์ ๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ํจ์จ์ ์ธ ํ์ต ์ ๋ต์ ๋ํด ์์๋ดค์ด! ๐
ํต์ฌ์ ์ ๋ฆฌํ์๋ฉด:
1. ์ต์ ํ๋ ํ์, ์ ํ์ด ์๋์ผ ๐ก
์๊ฐ, ๋น์ฉ, ํ๊ฒฝ ๋ชจ๋ ๋ฉด์์ ์ค์ํด. ์ฒ์๋ถํฐ ํจ์จ์ฑ์ ๊ณ ๋ คํ๋ ์ต๊ด์ ๋ค์ด์!
2. ๋จ๊ณ์ ์ผ๋ก ์ ๊ทผํ๊ธฐ ๐
ํ ๋ฒ์ ๋ชจ๋ ๊ฑธ ์ ์ฉํ๋ ค๊ณ ํ์ง ๋ง๊ณ , ํ๋์ฉ ํ
์คํธํ๋ฉด์ ๊ฐ์ ํด ๋๊ฐ.
๋ฒ ์ด์ค๋ผ์ธ โ ๋ชจ๋ธ ๊ฐ์ โ ์๋ ์ต์ ํ โ ๊ฒฝ๋ํ ์์๋ก!
3. ๋๊ตฌ๋ฅผ ์ ํ์ฉํ๊ธฐ ๐ ๏ธ
์ด๋ฏธ ์ข์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๋๊ตฌ๋ค์ด ๋ง์. ๋ฐํด๋ฅผ ๋ค์ ๋ฐ๋ช
ํ์ง ๋ง๊ณ ํ๋ช
ํ๊ฒ ํ์ฉํ์.
4. ๊ณ์ ๋ฐฐ์ฐ๊ธฐ ๐
AI ๋ถ์ผ๋ ์ ๋ง ๋น ๋ฅด๊ฒ ๋ฐ์ ํ๊ณ ์์ด. ์ต์ ๋
ผ๋ฌธ๊ณผ ๊ธฐ๋ฒ๋ค์ ๊พธ์คํ ๊ณต๋ถํ๋ ๊ฒ ์ค์ํด!
5. ์ปค๋ฎค๋ํฐ ํ์ฉํ๊ธฐ ๐ค
ํผ์ ๊ณ ๋ฏผํ์ง ๋ง๊ณ ์ปค๋ฎค๋ํฐ์ ์ง๋ฌธํ๊ณ ๊ฒฝํ์ ๊ณต์ ํ์.
์ฌ๋ฅ๋ท ๊ฐ์ ํ๋ซํผ์์ ์ ๋ฌธ๊ฐ์ ๋์์ ๋ฐ๋ ๊ฒ๋ ์ข์ ๋ฐฉ๋ฒ์ด์ผ!
โ๏ธ Mixed Precision Training ์ผ๊ธฐ (ํ ์ค์ด๋ฉด ๋ผ!)
โ๏ธ ํ์ต ๊ณผ์ ๋ชจ๋ํฐ๋ง ๋๊ตฌ ์ค์ ํ๊ธฐ
โ๏ธ ๋ฐฐ์น ์ฌ์ด์ฆ ์ต์ ํํ๊ธฐ
โ๏ธ Data Augmentation ์ถ๊ฐํ๊ธฐ
โ๏ธ Transfer Learning ์๋ํ๊ธฐ
โ๏ธ ์ฒดํฌํฌ์ธํธ ์๋ ์ ์ฅ ์ค์ ํ๊ธฐ
โ๏ธ ํ๋กํ์ผ๋ง์ผ๋ก ๋ณ๋ชฉ ์ฐพ๊ธฐ
โ๏ธ ์ต์ ๋ ผ๋ฌธ ํ๋ ์ฝ์ด๋ณด๊ธฐ
์์ ๊ฒ๋ถํฐ ํ๋์ฉ ์ค์ฒํด๋ณด์! ๐ช
AI ์ต์ ํ๋ ๋์ด ์๋ ์ฌ์ ์ด์ผ. ํ์ง๋ง ๊ทธ๋งํผ ์ฌ๋ฏธ์๊ณ ๋ณด๋์ฐฌ ๋ถ์ผ์ง! ๐
๋ชจ๋ธ์ด ์ ์ ๋นจ๋ผ์ง๊ณ , ์ฑ๋ฅ์ด ์ฌ๋ผ๊ฐ๊ณ , ๋น์ฉ์ด ์ค์ด๋๋ ๊ฑธ ๋ณด๋ฉด ์ ๋ง ๋ฟ๋ฏํด.
๊ทธ๋ฆฌ๊ณ ๊ทธ๋ ๊ฒ ์ต์ ํ๋ ๋ชจ๋ธ์ด ์ค์ ์๋น์ค์์ ์๋ง์ ์ฌ๋๋ค์๊ฒ ๋์์ ์ค ๋,
์ง์ง ๊ฐ๋ฐ์๋ก์์ ๋ณด๋์ ๋๋ ์ ์์ด. ๐
์ฌ๋ฌ๋ถ๋ ์ด ๊ธ์์ ๋ฐฐ์ด ๋ด์ฉ๋ค์ ์ค์ ์ ์ ์ฉํด๋ณด๊ณ ,
์์ ๋ง์ ์ต์ ํ ๋
ธํ์ฐ๋ฅผ ์์๊ฐ๊ธธ ๋ฐ๋ผ! ๐
๊ถ๊ธํ ์ ์ด ์๊ฑฐ๋ ๋งํ๋ ๋ถ๋ถ์ด ์๋ค๋ฉด ์ฃผ์ ํ์ง ๋ง๊ณ ์ปค๋ฎค๋ํฐ์ ๋ฌผ์ด๋ณด๊ณ ,
ํ์ํ๋ค๋ฉด ์ ๋ฌธ๊ฐ์ ๋์๋ ๋ฐ์๊ฐ๋ฉด์ ์ฑ์ฅํ์!
ํ์ดํ
! ๐ชโจ
์ฐ๋ฆฌ ๋ชจ๋ ํจ๊ป ์ฑ์ฅํ๋ AI ์ํ๊ณ๋ฅผ ๋ง๋ค์ด๊ฐ์. ๐
๊ด๋ จ ํค์๋
๋๊ธ ์์ฑ
์ด ๊ธ์ ๋ํ ์ฌ๋ฌ๋ถ์ ์๊ฐ์ ๋ค๋ ค์ฃผ์ธ์
๋ก๊ทธ์ธ์ด ํ์ํฉ๋๋ค
๋๊ธ์ ์์ฑํ๋ ค๋ฉด ๋จผ์ ๋ก๊ทธ์ธํด์ฃผ์ธ์.
๋๊ธ 0
์ง์์ธ์ ์ฒ - ์ง์ ์ฌ์ฐ๊ถ ๋ณดํธ ๊ณ ์ง
์ง์ ์ฌ์ฐ๊ถ ๋ณดํธ ๊ณ ์ง
- ์ ์๊ถ ๋ฐ ์์ ๊ถ: ๋ณธ ์ปจํ ์ธ ๋ ์ฌ๋ฅ๋ท์ ๋ ์ AI ๊ธฐ์ ๋ก ์์ฑ๋์์ผ๋ฉฐ, ๋ํ๋ฏผ๊ตญ ์ ์๊ถ๋ฒ ๋ฐ ๊ตญ์ ์ ์๊ถ ํ์ฝ์ ์ํด ๋ณดํธ๋ฉ๋๋ค.
- AI ์์ฑ ์ปจํ ์ธ ์ ๋ฒ์ ์ง์: ๋ณธ AI ์์ฑ ์ปจํ ์ธ ๋ ์ฌ๋ฅ๋ท์ ์ง์ ์ฐฝ์๋ฌผ๋ก ์ธ์ ๋๋ฉฐ, ๊ด๋ จ ๋ฒ๊ท์ ๋ฐ๋ผ ์ ์๊ถ ๋ณดํธ๋ฅผ ๋ฐ์ต๋๋ค.
- ์ฌ์ฉ ์ ํ: ์ฌ๋ฅ๋ท์ ๋ช ์์ ์๋ฉด ๋์ ์์ด ๋ณธ ์ปจํ ์ธ ๋ฅผ ๋ณต์ , ์์ , ๋ฐฐํฌ, ๋๋ ์์ ์ ์ผ๋ก ํ์ฉํ๋ ํ์๋ ์๊ฒฉํ ๊ธ์ง๋ฉ๋๋ค.
- ๋ฐ์ดํฐ ์์ง ๊ธ์ง: ๋ณธ ์ปจํ ์ธ ์ ๋ํ ๋ฌด๋จ ์คํฌ๋ํ, ํฌ๋กค๋ง, ๋ฐ ์๋ํ๋ ๋ฐ์ดํฐ ์์ง์ ๋ฒ์ ์ ์ฌ์ ๋์์ด ๋ฉ๋๋ค.
- AI ํ์ต ์ ํ: ์ฌ๋ฅ๋ท์ AI ์์ฑ ์ปจํ ์ธ ๋ฅผ ํ AI ๋ชจ๋ธ ํ์ต์ ๋ฌด๋จ ์ฌ์ฉํ๋ ํ์๋ ๊ธ์ง๋๋ฉฐ, ์ด๋ ์ง์ ์ฌ์ฐ๊ถ ์นจํด๋ก ๊ฐ์ฃผ๋ฉ๋๋ค.
์์ง ๋๊ธ์ด ์์ต๋๋ค.