1. 시작하는 이야기 — "이 사진 좀 크게 뽑아주세요"

디자이너라면 한 번쯤 겪어봤을 장면이 있습니다.
클라이언트가 카카오톡으로 사진 한 장을 보냅니다. 열어보니 640×480.
그리고 이렇게 말합니다. "이걸로 A1 포스터 하나만 뽑아주세요."

예전 같으면 정중히 원본을 요청드리거나, 포토샵의 이미지 크기 대화상자를 열고 '바이큐빅 더 부드럽게'를 선택한 뒤 눈물을 삼켰습니다.
결과는 언제나 같았죠. 흐릿하고, 물감 번진 듯하고, 글자는 뭉개진 사진.

그런데 지금은 다릅니다.
AI 업스케일러에 그 640×480을 넣으면, 4배 확대된 2560×1920이 나오는데 머리카락 한 올, 옷감의 직조 무늬, 눈동자의 하이라이트가 살아있습니다.
분명 원본에는 없던 정보인데요.

정답은 후자에 훨씬 가깝습니다. 그리고 이 한 문장을 정확히 이해하는 순간, AI 업스케일이라는 기술의 정체와 한계, 그리고 올바른 사용법이 전부 보이기 시작합니다.

이 글에서는 다운샘플링이라는 '정보 파괴' 과정부터, 고전 보간법의 수학, CNN 기반 초해상도, GAN의 적대적 학습, 그리고 최근의 확산모델(Diffusion) 업스케일까지 — 이미지변환 실무자의 시선으로 차근차근 해부해 보겠습니다.

2. 문제의 뿌리 — 정보는 이미 파괴되었다

2-1. 다운샘플링은 '되돌릴 수 없는' 함수입니다

4000×3000짜리 사진을 1000×750으로 줄인다고 해봅시다.
가로세로 각각 1/4이니, 원본 16픽셀이 1픽셀로 압축됩니다.

이때 소프트웨어는 보통 16개 픽셀의 (가중)평균을 냅니다.
그런데 평균값 100이라는 숫자 하나로부터 원래의 16개 값을 복원할 수 있을까요?

불가능합니다. (100,100,100…)일 수도 있고, (0,200,0,200…)일 수도 있습니다.
수학적으로 이것을 비가역(non-invertible) 변환, 혹은 다대일(many-to-one) 사상이라고 부릅니다.

2-2. 나이퀴스트와 에일리어싱, 그리고 계단현상

신호처리에는 나이퀴스트–섀넌 표본화 정리가 있습니다.
어떤 신호를 온전히 복원하려면, 그 신호에 포함된 최고 주파수의 2배 이상으로 샘플링해야 한다는 법칙이죠.

이미지에서 '고주파'란 무엇일까요?
바로 엣지(경계선), 텍스처, 미세한 무늬입니다. 반대로 '저주파'는 넓은 하늘, 매끈한 피부, 단색 벽면 같은 완만한 영역이고요.

사진을 축소하면 샘플링 밀도가 떨어지면서 고주파 성분이 가장 먼저 날아갑니다.
그래서 축소된 사진은 항상 "디테일이 죽었다"는 인상을 줍니다.
게다가 제대로 된 로우패스 필터 없이 그냥 픽셀을 버리면 에일리어싱이 발생해, 셔츠 줄무늬가 이상한 모아레 패턴으로 변하기도 합니다.

정리하면 업스케일의 본질은 "잃어버린 고주파를 어떻게든 다시 만들어내는 일"입니다.

3. 고전 보간법 — AI 이전의 세계

AI를 이야기하기 전에, 왜 기존 방식이 한계에 부딪혔는지 알아야 합니다.
포토샵, 김프, 브라우저의 CSS까지 — 우리가 일상적으로 쓰는 확대는 대부분 보간(interpolation)입니다.

3-1. 최근접 이웃 (Nearest Neighbor)

새로 생긴 픽셀 자리에 가장 가까운 원본 픽셀 값을 그대로 복사합니다.
연산이 가장 빠르고, 픽셀아트나 도트 그래픽을 확대할 때는 오히려 이것이 정답입니다.
하지만 사진에 쓰면 거대한 모자이크가 됩니다.

3-2. 양선형 보간 (Bilinear)

주변 2×2 = 4개 픽셀을 거리 가중 평균합니다.
계단은 사라지지만, 본질적으로 평균이므로 이미지 전체가 부드러워집니다. 즉 엣지까지 흐려집니다.

3-3. 양삼차 보간 (Bicubic)

주변 4×4 = 16개 픽셀을 3차 다항식으로 피팅합니다.
바이리니어보다 선명하고, 오랫동안 사진 확대의 표준이었습니다.
다만 엣지 근처에서 오버슈트가 발생해 밝은 테두리(할로)가 생기기도 합니다.

3-4. 란초스 (Lanczos)

sinc 함수를 윈도우로 잘라 쓰는 방식으로, 이론적으로 이상적 재구성에 가장 가깝습니다.
동영상 리사이즈에서 널리 쓰이지만, 링잉(ringing) 아티팩트가 나타날 수 있습니다.

4. AI가 학습하는 법 — "정답지를 먼저 만든다"

AI 업스케일 모델은 어떻게 훈련될까요? 발상이 재미있습니다.
저해상도 사진을 모아서 고해상도 짝을 찾는 게 아니라, 그 반대로 합니다.

결국 모델이 배우는 것은 "이렇게 흐릿한 패턴이 들어오면, 원래는 이런 선명한 패턴이었을 확률이 높다"는 통계적 대응 규칙입니다.

4-1. 실무자가 반드시 알아야 할 '열화 불일치'

여기서 초기 AI 업스케일러의 결정적 약점이 나옵니다.
학습 때는 "바이큐빅으로 4배 축소"라는 깔끔한 열화만 경험했는데, 실제 현장의 사진은 어떤가요?

카톡으로 세 번 전달되며 재압축되고, 손떨림 블러가 있고, 야간 촬영 노이즈가 끼고, 캡처 후 다시 캡처된 이미지입니다.
학습 분포와 실제 입력 분포가 다르면 모델은 노이즈까지 '디테일'로 착각해 증폭시킵니다.

그래서 등장한 것이 Real-ESRGAN 계열의 고차 열화 모델링(High-order degradation)입니다.
블러 → 다운샘플 → 노이즈 → JPEG 압축의 사이클을 2번 이상 무작위 순서와 강도로 반복 적용해, 현실의 지저분함을 흉내 냅니다.
이 아이디어 하나로 실사용 품질이 극적으로 향상되었습니다.

5. 신경망은 이미지 안에서 무엇을 보는가

5-1. 합성곱(Convolution) — 작은 창으로 패턴 훑기

CNN의 기본 단위는 3×3 커널입니다. 작은 창을 이미지 위로 미끄러뜨리며 지역 패턴을 감지합니다.

얕은 층에서는 수평선, 수직선, 대각선, 색 경계 같은 원시 특징을 잡습니다.
층이 깊어질수록 곡선, 모서리, 격자 무늬를 인식하고,
더 깊어지면 눈, 벽돌, 나뭇잎, 직물의 결 같은 의미 있는 구조를 식별합니다.

업스케일러는 이 계층적 이해를 바탕으로 판단합니다.
"이 흐릿한 얼룩은 노이즈가 아니라 사람 눈썹의 일부이므로, 눈썹답게 가늘고 방향성 있게 복원하자."

5-2. 잔차 학습(Residual Learning) — 차이만 배우기

초해상도에서 입력과 출력은 대부분 비슷합니다. 구도, 색감, 큰 형태는 그대로니까요.
달라지는 건 엣지와 텍스처, 즉 고주파 성분뿐입니다.

그래서 현대 모델은 전체 이미지를 처음부터 그리지 않고, "보간된 이미지에 더해줄 차이값(residual)"만 학습합니다.
학습 난이도가 크게 낮아지고, 깊은 네트워크에서도 기울기 소실 없이 수렴합니다.
ESRGAN의 RRDB(Residual-in-Residual Dense Block)는 이 구조를 중첩해 극단까지 밀어붙인 설계입니다.

5-3. 어텐션과 트랜스포머 — 멀리 있는 곳까지 참조하기

3×3 커널은 시야가 좁습니다. 벽돌담 왼쪽의 선명한 벽돌 무늬를, 오른쪽 흐린 영역 복원에 활용하지 못하죠.

SwinIR 같은 트랜스포머 기반 모델은 셀프 어텐션으로 멀리 떨어진 영역 간 유사성을 계산합니다.
이미지에는 반복 구조가 많기 때문에(창문, 타일, 잔디, 옷감), 이미지 내부의 자기유사성(self-similarity)을 활용하면 복원 품질이 눈에 띄게 좋아집니다.

5-4. 업샘플링은 언제 일어나는가 — Pixel Shuffle

초기 모델(SRCNN)은 바이큐빅으로 먼저 키운 뒤 신경망에 넣었습니다. 연산량이 어마어마했죠.

현대 모델은 저해상도 상태에서 모든 무거운 연산을 끝내고, 마지막에만 확대합니다.
이때 쓰는 기법이 서브픽셀 컨볼루션(Pixel Shuffle)입니다.

원리는 우아합니다. 4배 확대가 목표라면 채널을 16개(4×4) 만들어 두고, 각 채널의 픽셀을 공간 격자에 재배열합니다.
채널 방향의 정보를 공간 방향으로 '펼치는' 것이죠.
디컨볼루션에서 흔한 체커보드 아티팩트도 피할 수 있어 사실상 표준이 되었습니다.

# PixelShuffle 개념 (PyTorch 스타일)
# 입력:  (B, 3*16, H, W)   ← 저해상도에서 채널만 잔뜩
# 출력:  (B, 3,    4H, 4W) ← 채널을 공간으로 재배치

conv  = nn.Conv2d(64, 3 * (4**2), kernel_size=3, padding=1)
shuf  = nn.PixelShuffle(upscale_factor=4)

x = conv(feature)   # (B, 48, H, W)
y = shuf(x)         # (B, 3, 4H, 4W)

6. 손실 함수의 딜레마 — 정확함과 선명함은 다르다

AI 업스케일의 성격을 결정짓는 것은 네트워크 구조가 아니라 무엇을 '좋은 결과'로 정의하느냐입니다.
바로 손실 함수(Loss)입니다.

6-1. 픽셀 손실(L1/L2)과 '평균의 저주'

가장 단순한 방법은 예측과 정답의 픽셀 차이를 최소화하는 것입니다.
그런데 앞서 말했듯 정답은 하나가 아닙니다. 수많은 가능한 정답이 있을 때, 오차 제곱을 최소화하는 안전한 선택은 '모든 정답의 평균'입니다.

그래서 PSNR(신호대잡음비) 수치는 높은데 눈으로 보면 밋밋한, 이른바 "수치는 좋은데 안 예쁜" 결과가 나옵니다.
이것이 왜곡(Distortion) vs 지각품질(Perception) 트레이드오프라는, 초해상도 연구의 근본적 딜레마입니다.

6-2. 지각 손실(Perceptual Loss)

그래서 나온 발상. 픽셀끼리 비교하지 말고, 사전학습된 VGG 네트워크에 두 이미지를 통과시켜 '특징맵'끼리 비교하자.

이러면 픽셀 위치가 조금 어긋나도, 질감의 인상이 비슷하면 낮은 손실로 평가됩니다.
사람의 시지각에 훨씬 가까운 기준이 되는 셈입니다.

6-3. 적대적 손실(Adversarial Loss) — GAN의 등장

SRGAN이 제시한 구조는 이렇습니다.

생성자(Generator)는 저해상도를 받아 고해상도를 만듭니다.
판별자(Discriminator)는 주어진 이미지가 진짜 고해상도 사진인지, 생성자가 만든 가짜인지 맞힙니다.

둘은 경쟁합니다. 판별자가 똑똑해질수록 생성자는 더 진짜 같은 질감을 만들어야 하고,
그 결과 평균으로 도망치지 않고 '선명한 한 가지 해석'을 과감하게 선택하게 됩니다.

6-4. 확산 모델(Diffusion) 기반 업스케일

최근 흐름은 확산 모델입니다.
노이즈에서 시작해 여러 단계에 걸쳐 조금씩 노이즈를 걷어내며 이미지를 만드는 방식인데,
이때 저해상도 이미지를 '조건'으로 주입하면 초해상도기가 됩니다.

Stable Diffusion 계열의 업스케일러나 StableSR, SUPIR 같은 모델이 대표적입니다.
텍스트 프롬프트로 "이 부분은 벽돌 질감이야"라고 힌트를 줄 수 있다는 점이 흥미롭습니다.
생성 품질은 압도적이지만, 대신 원본 충실도(fidelity)가 더 크게 흔들리고 연산량이 무겁습니다.

7. 얼굴은 왜 특별 취급을 받는가

AI 업스케일 결과물을 보면 유독 얼굴 복원이 극적입니다.
흐릿한 졸업사진 속 인물이 갑자기 또렷해지죠. 여기에는 별도의 기술 계보가 있습니다.

7-1. 얼굴 사전지식(Face Prior)

사람 얼굴은 구조가 매우 제한적입니다.
눈 두 개, 코 하나, 대칭, 정해진 비율. 이 강력한 제약은 곧 강력한 사전 지식입니다.

GFPGAN, CodeFormer 같은 모델은 StyleGAN으로 학습된 '얼굴 생성 능력'을 가져와,
흐릿한 입력을 그 얼굴 공간(latent space)에 투영합니다.
그래서 일반 업스케일러보다 훨씬 그럴듯한 눈동자와 치아, 머리카락이 나옵니다.

7-2. 그런데 그건 '그 사람'이 맞나요?

여기서 결정적 주의점.
얼굴 복원 모델은 "얼굴처럼 보이는 것"을 만들 뿐, "그 사람의 실제 얼굴"을 복원하는 게 아닙니다.

저해상도 정보가 부족할수록 모델은 학습 데이터의 평균적 얼굴 특성으로 채웁니다.
쌍꺼풀이 생기거나, 나이가 어려 보이거나, 인종적 특징이 데이터셋 편향 쪽으로 미세하게 이동할 수 있습니다.

실제로 픽셀 모자이크 처리된 인물 사진을 AI로 복원했더니 전혀 다른 사람이 나온 사례가 연구계에서 여러 차례 보고되었습니다.
따라서 신원 확인 목적으로 AI 업스케일 결과를 쓰는 것은 기술적으로 부적절합니다.

8. 디자인 실무 관점의 업스케일 활용 가이드

여기서부터는 이미지변환 실무에 바로 적용할 수 있는 내용입니다.
재능넷 '지식인의 숲'을 찾는 디자이너분들이 가장 궁금해하는 부분이기도 하죠.

8-1. 소재 유형별 최적 전략

8-2. 배율 선택의 기술

많은 분들이 "8배로 한 번에" 처리하려 하지만, 실무적으로는 4배로 올린 뒤 바이큐빅으로 필요한 크기까지 미세 조정하는 편이 자연스럽습니다.

이유는 두 가지입니다.
첫째, 대부분의 모델은 2배 또는 4배에 최적화되어 학습되었습니다.
둘째, 과도한 배율은 없는 정보의 비중을 폭증시켜 'AI 티'가 나는 플라스틱 질감을 만듭니다.

또한 목표 출력 해상도부터 역산하세요.
A4 인쇄 300dpi라면 약 2480×3508px입니다. 원본이 620×877이면 정확히 4배면 충분합니다.
무작정 키워두면 파일만 무거워지고 품질 이득은 없습니다.

8-3. 처리 순서가 품질을 좌우합니다

8-4. 타일링과 이음새 문제

고해상도 이미지를 한 번에 처리하려면 VRAM이 폭발합니다.
그래서 대부분의 도구는 이미지를 타일로 쪼개 처리 후 이어 붙입니다.

이때 타일 경계에 미세한 선이 보이는 심(seam) 아티팩트가 생길 수 있습니다.
해결책은 타일 패딩(overlap)을 32~64px 이상 주는 것입니다.
하늘이나 그라데이션 배경처럼 완만한 영역에서 특히 눈에 잘 띄니, 그런 소재는 패딩을 넉넉히 설정하세요.

9. 품질은 어떻게 측정하는가

"좋아졌다"는 감상은 주관적입니다. 연구와 실무에서는 몇 가지 지표를 씁니다.

PSNR (Peak Signal-to-Noise Ratio)

픽셀 오차 기반. 단위는 dB이고 높을수록 원본과 유사합니다.
하지만 흐릿한 이미지가 선명한 이미지보다 PSNR이 높게 나오는 역설이 흔합니다. 사람 눈과 잘 안 맞습니다.

SSIM (Structural Similarity)

밝기·대비·구조의 유사성을 함께 봅니다. PSNR보다는 인간 지각에 가깝지만, 여전히 질감 생성 품질을 제대로 평가하지 못합니다.

LPIPS (Learned Perceptual Image Patch Similarity)

딥러닝 특징 공간에서의 거리. 낮을수록 좋습니다.
사람의 판단과 상관관계가 높아 현재 초해상도 논문의 사실상 표준입니다.

NIQE / MANIQA — 정답 없이 평가하기

현실에서는 정답 고해상도가 없습니다. 그래서 참조 없는(No-Reference) 품질 지표를 씁니다.
이미지 자체의 통계가 '자연스러운 사진'의 통계와 얼마나 가까운지 측정합니다.

10. 아티팩트 사전 — 이런 게 보이면 의심하세요

특히 마지막 항목은 알아두면 유용합니다.
사람 눈은 밝기(휘도) 변화에 훨씬 민감하고 색상 변화에는 둔감합니다.
그래서 일부 파이프라인은 이미지를 YCbCr로 변환해 Y(휘도) 채널만 정교하게 업스케일하고, 색차 채널은 단순 보간합니다.
연산은 절약되고 체감 품질은 유지되는 실용적 트릭입니다.

11. 영상 업스케일은 또 다른 세계

정지 이미지 업스케일을 동영상에 프레임 단위로 그냥 적용하면 큰 문제가 생깁니다.

각 프레임이 독립적으로 '창작'되기 때문에, 인접 프레임 간 생성된 질감이 달라집니다.
결과는 화면이 지글지글 끓는 플리커링(flickering)입니다.

그래서 영상 초해상도(VSR)는 시간적 일관성(temporal consistency)을 핵심 과제로 다룹니다.
· 광학 흐름(optical flow)으로 프레임 간 움직임을 추정해 정렬
· 순환 구조(recurrent)로 이전 프레임의 복원 정보를 다음 프레임에 전달
· BasicVSR, EDVR 같은 모델이 대표적입니다.

흥미로운 점은, 영상에서는 여러 프레임이 서로 다른 서브픽셀 위치에서 샘플링된 정보를 담고 있다는 사실입니다.
손떨림조차 정보가 됩니다. 여러 프레임을 정렬해 합치면 단일 이미지보다 실제로 더 많은 진짜 정보를 복원할 수 있습니다.
이것이 멀티프레임 초해상도의 원리이고, 스마트폰 카메라의 고해상도 줌에도 응용됩니다.

12. 윤리와 신뢰 — 만들어낸 디테일에 대한 책임

기술이 좋아질수록 더 중요해지는 질문이 있습니다.
"이 이미지는 사실인가?"

AI 업스케일 결과물은 원본에 없던 픽셀을 포함합니다.
대부분의 경우 무해하지만, 맥락에 따라 심각한 문제가 됩니다.

· 보도 사진: 존재하지 않던 디테일이 사실처럼 유통될 수 있음
· 수사·법정 증거: 얼굴이나 번호판의 AI 복원은 증거능력 없음
· 의료 영상: 없는 병변이 생기거나 있는 병변이 지워질 위험
· 상업 광고: 실제 제품에 없는 질감 표현은 표시광고법 이슈 소지
· 문화재·기록물: 복원본과 원본의 구분 표기 필요

재능넷 같은 재능 공유 플랫폼에서 이미지 보정·복원 작업을 의뢰하거나 수행할 때도 마찬가지입니다.
어느 수준까지가 '복원'이고 어디부터가 '재창작'인지를 작업 전에 합의해 두면, 결과물에 대한 기대 차이로 인한 분쟁을 크게 줄일 수 있습니다.

13. 자주 나오는 질문 정리

Q. 모자이크나 블러 처리된 사진을 복원할 수 있나요?

원리적으로 불가능합니다. 모자이크는 정보를 의도적으로 파괴한 것이므로, AI가 내놓는 건 "그 자리에 있었을 법한 다른 얼굴"입니다.
그럴듯해 보인다는 점이 오히려 위험합니다.

Q. 이미 업스케일한 결과를 다시 업스케일하면?

추천하지 않습니다. AI가 만든 아티팩트를 다시 '디테일'로 해석해 증폭시킵니다.
세대를 거듭할수록 실제 사진에서 멀어지는 모델 붕괴와 유사한 현상이 나타납니다.

Q. PNG와 JPG 중 무엇을 입력으로 넣어야 하나요?

손실 없는 원본이 있다면 무조건 PNG/TIFF/RAW입니다.
JPEG 압축 블록은 AI가 잘못 학습할 여지를 주는 노이즈입니다. 재저장 횟수도 최소화하세요.

Q. 왜 GPU가 필요한가요?

수천만 번의 행렬 곱셈을 병렬로 처리해야 하기 때문입니다.
4배 업스케일 한 장에 수십억 회의 연산이 들어갑니다. CPU로는 수 분, GPU로는 수 초입니다.

Q. 어느 정도 원본이면 안심할 수 있나요?

경험칙으로 목표 크기의 1/4 이상이면 결과가 안정적입니다.
1/8을 넘어서면 AI의 창작 비중이 급격히 커집니다. 특히 얼굴과 텍스트가 포함되면 위험도가 올라갑니다.

Q. 벡터로 바꾸면 되지 않나요?

로고, 아이콘, 단순 도형은 벡터 트레이싱이 훨씬 정답입니다. 무한 확대가 가능하니까요.
다만 사진처럼 계조가 풍부한 이미지는 벡터화하면 오히려 정보가 뭉개집니다. 소재에 따라 판단하세요.

14. 마무리 — 도구를 이해하는 사람이 결과를 지배합니다

다시 처음 질문으로 돌아가 봅니다.
AI 업스케일은 복원인가, 창작인가?

답은 "학습된 세계의 통계를 근거로 한, 매우 정교한 추론"입니다.
수백만 장의 사진을 통해 "머리카락은 이렇게 생겼고, 벽돌은 이런 결을 가지며, 눈동자에는 이런 반사가 있다"는 세계의 규칙을 배운 뒤,
흐릿한 입력에 그 규칙을 적용해 가장 확률이 높은 해석을 그려내는 것입니다.

그래서 AI 업스케일은 마법이 아니라 확률입니다.
확률이 높은 영역(자연 질감, 일반적 물체)에서는 놀랍도록 잘 작동하고,
확률이 낮은 영역(특정 인물의 고유한 얼굴, 임의의 문자열, 고유 로고)에서는 어김없이 실패합니다.

기술은 계속 발전할 것입니다. 확산 모델은 더 정교해지고, 텍스트 조건부 복원은 더 세밀해지며, 실시간 처리도 머지않았습니다.
그러나 "없는 정보는 만들 수 없다"는 물리적 진실만큼은 변하지 않습니다.
AI는 그 빈자리를 가장 아름답고 그럴듯한 추측으로 채울 뿐입니다.

그러니 다음에 누군가 640×480 사진으로 포스터를 요청한다면, 이제 이렇게 답할 수 있겠습니다.

"가능합니다. 다만 디테일 일부는 AI가 재구성하게 됩니다.
얼굴과 로고는 별도로 보정하거나 원본 소스를 주시면 훨씬 좋은 결과를 드릴 수 있어요."

이 한 문장이야말로, 원리를 이해한 사람만이 할 수 있는 말입니다. 🎨