Ver4.0 전체 열람

Ver4.0 오래된 영상도 4K가 될까? AI 업스케일의 한계

2026.10.02

재능넷

댓글 0 전체 22 페이지

오래된 영상도 4K가 될까? AI 업스케일의 한계

720x480 VHS 소스를 4K로 뽑으면 진짜 4K일까, 아니면 그냥 큰 그림일까

영상변환AI 업스케일복원 vs 환각

0. 들어가기 전에: "화질 복원" 떡밥, 왜 이렇게 뜨거움?

요즘 유튜브 돌아다니다 보면 이런 거 한 번쯤 봤을 거임ㅋㅋ
"1920년 파리 거리, AI로 4K 60fps 복원!", "90년대 뮤직비디오 4K 리마스터"...
댓글창은 난리남. "와 미쳤다 사람 얼굴이 보여!" "기술 무섭다"

근데 여기서 진지하게 한 번 짚고 가야 할 게 있음.
그 영상, 진짜 "복원"된 걸까? 아니면 AI가 "그럴싸하게 지어낸" 걸까?

결론부터 스포하자면 — 둘 다 맞음.
그리고 이 "둘 다 맞음"의 경계선을 이해하는 게, 영상변환 좀 한다는 사람과
그냥 프로그램 돌리고 "오 잘 나왔네" 하는 사람의 차이임.

이 글에서 다룰 것

① 해상도라는 게 애초에 뭔지 (픽셀 개수 말고 실효 해상도 얘기)
② 전통 보간 vs AI 업스케일, 뭐가 다른지
③ AI가 "없는 디테일"을 만들어내는 원리 (= 환각, hallucination)
④ 절대 못 넘는 물리적 한계 5가지
⑤ 실전 워크플로우 순서 (이거 순서 틀리면 망함ㅋㅋ)
⑥ 소스 종류별 현실적인 기대치 표

1. 해상도 = 픽셀 개수? ㄴㄴ 그거 반만 맞음

제일 먼저 깨야 할 오해임.
3840×2160 = 4K. 맞음. 근데 이건 컨테이너 크기일 뿐임.

비유하자면 이럼. 페트병 500ml짜리에 물 100ml 들어있는데,
그 물을 2L 페트병에 옮겨 담았다고 물이 2L가 되냐? 안 되잖아ㅋㅋ
근데 사람들은 "2L 병에 담겼으니 2L네!" 라고 말하고 있는 거임.

핵심 용어: 실효 해상도 (Effective Resolution)

파일이 3840×2160으로 인코딩돼 있어도,
실제로 구분 가능한 디테일이 720p 수준이면 실효 해상도는 720p임.
업스케일은 컨테이너를 키우는 작업이고,
실효 해상도를 올리는 건 정보를 새로 만들어내는 완전히 다른 작업임.

2. 옛날 방식: 보간법(Interpolation)의 세계

AI 나오기 전에 우리가 쓰던 확대 방식들임. 지금도 밑바탕에 깔려 있음.

방식	원리	결과 느낌	속도
Nearest Neighbor	가장 가까운 픽셀 복붙	계단 현상 폭발 (도트 느낌)	초고속
Bilinear	주변 4픽셀 선형 평균	흐릿함, 물에 번진 느낌	빠름
Bicubic	주변 16픽셀 3차 함수 보간	무난, 살짝 소프트	보통
Lanczos	sinc 함수 기반 가중치	샤프하지만 링잉(테두리 유령)	보통
Spline / Mitchell	곡선 필터 계열	부드러움-선명 밸런스	보통

이 방식들의 공통점? 새 정보를 절대 안 만듦.
있는 픽셀들 사이를 수학적으로 "적당히 메꾸는" 거임.
그래서 아무리 Lanczos로 4K 뽑아도 흐릿한 4K가 나옴ㅋㅋ
정직하긴 함. 거짓말은 안 하니까.

링잉(Ringing) 현상이 뭐임?

Lanczos 같은 샤프한 필터 쓰면 밝기 차이 큰 경계선 옆에
얇은 밝은 선 / 어두운 선이 생김. 자막 테두리 보면 잘 보임.
"헤일로(halo)"라고도 부름. 확대할수록 눈에 띄어서
영상변환 할 때 샤프닝 과하게 넣으면 이게 폭발함.

3. AI 업스케일은 대체 뭘 하는 거임?

핵심을 한 줄로 요약하면:
"수백만 장의 (저화질 ↔ 고화질) 쌍을 보고, 저화질 패턴이 나오면 어떤 고화질이 정답이었는지 외운 것"

즉 AI는 추론(inference)을 함. 계산이 아니라 추측임.
"이런 흐릿한 세로 획 패턴? 아 이거 보통 사람 눈썹이었음" 하고 눈썹을 그려넣는 거.

3-1. 주요 기술 계보 정리

① SRCNN (2014) — 딥러닝 초해상도의 시작. CNN 3층짜리 단순 구조. 지금 보면 귀여운 수준.

② VDSR / EDSR — 층을 깊게 쌓고 잔차 학습(residual). PSNR 지표 확 올라감. 근데 여전히 살짝 뿌연 느낌.

③ SRGAN → ESRGAN → Real-ESRGAN — GAN 도입. "수학적으로 정확한 답" 대신 "사람 눈에 진짜처럼 보이는 답"을 목표로 함. 여기서부터 디테일이 확 살아남. 동시에 환각도 여기서 시작.

④ SwinIR / HAT — 트랜스포머 기반. 멀리 있는 픽셀끼리의 관계까지 봄. 질감 재현 좋음.

⑤ BasicVSR / BasicVSR++ / EDVR — 영상 전용. 앞뒤 프레임 정보를 같이 씀(시간축 활용). 영상변환에선 사실상 이 계열이 정답임.

⑥ Diffusion 기반 (StableSR, SUPIR 등) — 생성모델로 디테일을 "창작". 사진 한 장은 미쳤게 잘 나오는데, 영상에선 프레임마다 다르게 창작해서 깜빡임 지옥이 열림.

3-2. 왜 영상은 사진보다 어려움?

시간적 일관성(Temporal Consistency) 문제

사진 1장 업스케일 = 잘 나오면 끝.
영상 = 초당 24~30장을 전부 똑같은 규칙으로 만들어야 함.

근데 AI는 프레임 1에서 "이 흐릿한 점은 주근깨"라고 판단하고,
프레임 2에서는 "아 이건 그림자네"라고 판단함ㅋㅋㅋ
결과 → 얼굴이 계속 부글부글 끓는 현상 (boiling / flickering)

그래서 영상용 모델들은 옵티컬 플로우(광학 흐름)로
프레임 간 움직임을 추적해서 정보를 이어붙임.
이게 BasicVSR 계열이 강한 이유임.

4. 환각(Hallucination): AI가 지어내는 순간

여기가 이 글의 하이라이트임. 진짜 중요함.

유명한 사례 하나 얘기해봄. 2020년에 PULSE라는 모델이 화제였는데,
저해상도 얼굴 사진을 초고해상도로 복원하는 모델이었음.
근데 오바마 전 대통령의 저해상도 사진을 넣었더니
백인 남성 얼굴이 나옴.

왜? 학습 데이터에 백인 얼굴이 압도적으로 많았으니까.
AI는 "이 픽셀 패턴 → 가장 흔한 정답"을 뱉었을 뿐임.
이게 바로 복원이 아니라 생성이라는 증거임.

영상변환 실무에서 자주 터지는 환각 TOP 5

1) 얼굴 성형 — 멀리 있는 인물 얼굴을 AI가 "얼굴 같으니까" 하고 이목구비를 새로 그림. 원래 사람과 다른 사람이 됨ㅋㅋ

2) 글자 조작 — 간판, 자막, 번호판 텍스트를 엉뚱한 글자로 만들어버림. 법적으로 이거 진짜 위험함. CCTV 증거영상 업스케일이 법정에서 안 먹히는 이유.

3) 가짜 질감 — 매끈한 벽에 없던 벽돌 무늬, 하늘에 없던 구름 결, 옷에 없던 직물 패턴이 생김.

4) 노이즈 → 디테일 오인 — 필름 그레인이나 압축 노이즈를 "질감"으로 착각해서 증폭. 피부가 도마뱀 됨.

5) 플라스틱 피부 — 반대로 너무 깎아서 밀랍인형 됨. 디노이즈 과하면 이럼.

그래프 해석 ㄱㄱ.
2배 확대까지는 원본 정보가 대부분임. 이건 진짜 복원에 가까움.
4배부터 절반 이상이 추론임. 8배 넘어가면 거의 AI 창작물.

그래서 480p → 4K (9배)는
"복원"이라고 부르기엔 좀 뻔뻔한 거임ㅋㅋ
정확히는 "원본을 참고한 AI 재해석 영상"이 맞는 표현.

5. 절대 못 넘는 물리적 한계 5가지

한계 ①: 정보 이론 — 없는 건 없는 거임

샤논-나이퀴스트 표본화 정리에 따르면,
원본 촬영 시점에 기록되지 않은 주파수 성분은 영원히 복구 불가임.
이건 알고리즘 문제가 아니라 물리 법칙임.

즉, 초점이 나간 영상을 AI가 선명하게 만든다? → 진짜 초점을 맞춘 게 아니라
"초점 맞았으면 이랬을 것 같은 그림"을 그린 거임.

한계 ②: 압축 아티팩트 — 이미 망가진 데이터

옛날 영상들은 거의 다 심하게 압축돼 있음.
DivX, WMV, 저비트레이트 MPEG-2, 유튜브 재업로드 n번...

이때 생긴 블로킹(네모 뭉개짐), 모스키토 노이즈(경계 주변 지글거림),
밴딩(그라데이션 계단)은 원본 신호가 아니라 파괴의 흔적임.

AI에 그냥 넣으면? 아티팩트까지 4K로 선명하게 확대해줌ㅋㅋㅋ
그래서 업스케일 전에 디블록/디노이즈가 필수인 거.

한계 ③: 인터레이스 — 옛날 영상의 최종보스

VHS, DVD, 방송 녹화본 대부분은 인터레이스(비월주사) 방식임.
한 프레임을 홀수 줄(필드1) + 짝수 줄(필드2)로 다른 시간에 찍은 거.

움직임 있는 장면에서 빗살무늬(콤빗, combing) 보이면 그게 인터레이스임.

이걸 디인터레이스 안 하고 업스케일하면?
AI가 빗살무늬를 "무늬"로 인식해서 4K 빗살무늬를 만들어줌ㅋㅋ 참사.

반드시 디인터레이스 → 그 다음 업스케일 순서 지켜야 함.
QTGMC(AviSynth/VapourSynth) 같은 고품질 디인터레이서가 사실상 업계 표준.

한계 ④: 텔레시네와 프레임레이트

필름(24fps)을 NTSC 방송(29.97fps)에 맞추려고 프레임을 쪼개 넣은 게 3:2 풀다운(텔레시네)임.
이걸 원래대로 되돌리는 게 IVTC(역텔레시네).

이거 안 하고 프레임 보간(60fps 만들기)까지 돌리면
움직임이 흐느적거리고 잔상 남는 기괴한 영상 완성됨.

그리고 60fps 보간 자체도 취향 갈림. 영화 소스에 넣으면
"소프오페라 효과(Soap Opera Effect)" 라고 해서 드라마 촬영본 같은 싸구려 느낌이 남.
필름 룩이 완전히 죽음. 고전 영화에 60fps 넣는 건 호불호 극단적임.

한계 ⑤: 색과 계조 — 해상도만 문제가 아님

옛날 소스는 4:2:0 / 4:1:1 크로마 서브샘플링에 8bit임.
색 정보가 밝기 정보보다 훨씬 적게 기록돼 있음.

그래서 업스케일하면 빨간 옷 경계가 번지거나, 색이 뭉개져 나옴.
해상도만 올리고 색 처리 안 하면 "선명한데 촌스러운" 결과가 나옴ㅋㅋ

거기다 VHS는 크로마 노이즈, 색 번짐(chroma bleed), 테이프 늘어남에 의한
지터(jitter)까지 있어서 이건 별도 복원 툴이 필요함.

6. 실전 워크플로우: 순서가 9할임

초보들이 제일 많이 하는 실수 = 그냥 소스 통째로 AI에 던지기.
그럼 쓰레기 넣고 고화질 쓰레기 나옴 (Garbage In, HD Garbage Out ㅋㅋ)

단계별 디테일 노트

1단계 — 소스 분석
MediaInfo로 코덱, 프레임레이트, 스캔 타입, 비트레이트 확인.
29.97fps인데 실제 내용은 23.976fps면 텔레시네 의심 ㄱㄱ.

2단계 — 디인터레이스
필드 순서(TFF/BFF) 틀리면 움직임이 앞뒤로 튐. 꼭 확인.
텔레시네면 디인터레이스 말고 IVTC로 24fps 복원이 정답.

3단계 — 크롭
VHS 캡처본은 화면 가장자리에 검은 띠·노이즈 라인 있음.
이거 안 자르고 업스케일하면 AI가 그 노이즈를 증폭시킴.

4단계 — 디노이즈
가장 섬세한 단계임. 과하면 얼굴이 밀랍인형 됨.
필름 그레인은 일부러 남기는 게 자연스러울 때가 많음.
시간축 디노이즈(temporal)가 공간축보다 디테일 보존에 유리.

5단계 — 안정화/색보정
아날로그 테이프는 화면이 미세하게 떨림. 안정화 넣으면 체감 화질 확 올라감.
색은 화이트밸런스 먼저 잡고, 그다음 채도 만지는 순서.

6단계 — AI 업스케일
배율은 2배 권장, 최대 4배. 그 이상은 창작의 영역.
영상용 모델(시간 일관성 있는 것) 쓸 것. 사진용 모델 쓰면 깜빡임 지옥.

7단계 — 인코딩
4K를 저비트레이트로 뽑으면 애써 만든 디테일이 다시 뭉개짐ㅋㅋ
H.265 / AV1에 CRF 18~20 정도, 가능하면 10bit 출력.

7. 소스 종류별 현실적 기대치 (솔직 버전)

원본 소스	실효 해상도	현실적 목표	4K 가능?
35mm 필름 원본	매우 높음(4K↑)	재스캔이 답	가능 (AI 필요X)
블루레이 1080p	1080p	1440p~4K	꽤 괜찮음
DVD (480p)	약 480p	720p~1080p	비권장
디지털방송 녹화	720p~1080i	1080p	조건부
VHS 캡처	약 240~330선	480p~720p	거의 불가
구형 캠코더(Hi8 등)	약 400선	480p~720p	거의 불가
저화질 유튜브 재업로드	제각각(망가짐)	정리만 해도 성공	불가
휴대폰 초기 영상(320x240)	극저	720p 한계	불가

⚠ 중요한 반전 포인트

고전 영화가 4K로 나오는 건 AI 업스케일 덕분이 아님!
필름 원본을 4K/8K 스캐너로 다시 스캔한 거임.

필름은 애초에 아날로그라 해상도 개념이 없고,
35mm면 대략 4K~6K 상당의 정보를 담고 있음.
즉 "복원"의 정석은 더 좋은 원본을 찾는 것이지 AI가 아님.

AI는 원본이 사라졌거나, 필름이 없는 비디오 소스에서 최후의 수단임.

8. "이거 진짜 잘 된 업스케일인가?" 판별법

남이 올린 4K 복원 영상 볼 때, 또는 내가 작업한 결과 검수할 때 체크리스트임.

✔ 정지화면 말고 재생하면서 봐라
스틸컷은 멀쩡한데 재생하면 얼굴이 부글거리는 경우 진짜 많음.

✔ 글자를 확대해봐라
간판/자막이 이상한 글자로 변형됐으면 환각 발생한 거임.

✔ 배경 군중을 봐라
멀리 있는 사람들 얼굴이 다 똑같이 생겼으면 AI가 찍어낸 거ㅋㅋ

✔ 머리카락·나뭇잎 디테일
이런 고주파 디테일이 서로 엉겨붙어 뭉텅이가 됐으면 실패.

✔ 경계선 헤일로
인물 실루엣 주변에 하얀 후광 있으면 샤프닝 과다.

✔ 피부 질감
너무 매끈 = 디노이즈 과다 / 너무 오돌토돌 = 노이즈 증폭

지표 얘기도 잠깐 (PSNR / SSIM / LPIPS)

PSNR — 픽셀 오차 기반. 숫자 높다고 잘 보이는 건 아님.
오히려 흐릿한 결과물이 PSNR이 높게 나오는 역설이 있음ㅋㅋ

SSIM — 구조적 유사도. PSNR보단 사람 느낌에 가까움.

LPIPS / DISTS — 딥러닝 기반 지각적 유사도. GAN 결과 평가에 적합.

VMAF — 넷플릭스가 만든 체감 화질 지표. 실무에서 많이 씀.

결론: 지표는 참고용, 최종 판단은 본인 눈. 특히 영상은 더더욱.

9. 윤리·법적 이슈도 있음 (진심 중요)

① 증거로 못 씀
CCTV, 블랙박스 영상을 AI 업스케일해서 번호판 읽는 거?
드라마에서나 됨. 실제로는 AI가 지어낸 숫자라 증거능력 없음.
법정에서 원본 무결성 훼손으로 배척됨.

② 역사 기록물 왜곡
100년 전 흑백 영상에 AI로 색 입히고 60fps 만들면 보기엔 좋음.
근데 그 색은 전부 AI 추측임. 실제 그 사람 옷 색이 아닐 수 있음.
아카이브 업계에서는 "복원본"과 "원본"을 반드시 분리 보관함.

③ 초상권 / 인물 변형
실존 인물 얼굴을 AI가 다르게 그려내면 초상권 이슈 생길 수 있음.
상업적으로 쓸 땐 원본 대조 필수.

그래서 요즘 아카이브·박물관 쪽에서는 복원본에
"AI 처리됨" 워터마크나 메타데이터를 명시하는 게 권고 사항이 되고 있음.

10. 그래서 AI 업스케일, 언제 쓰면 좋냐면

👍 잘 맞는 경우

· 1080p → 4K 같은 2배 이내 확대
· 애니메이션 (선이 명확해서 AI가 예측 잘함, waifu2x 계열 강력)
· 게임 플레이 영상, 그래픽 소스
· 개인 추억 영상 (완벽함보다 "볼 만함"이 목적)
· 오래된 광고·뮤비를 SNS용으로 살릴 때
· 텍스트 없는 풍경/질감 위주 영상

👎 안 맞는 경우

· 법적 증거 자료
· 의료 영상 (절대 금지급)
· 문자 정보가 핵심인 영상 (강의 판서, 문서 촬영)
· 필름 원본이 존재하는 영화 (재스캔이 훨씬 나음)
· 8배 이상 확대 시도
· 역사적 정확성이 중요한 아카이브

재능넷 '지식인의 숲'에서도 영상변환 관련 문의가 꾸준히 올라오는데,
제일 많은 질문이 "제가 가진 옛날 가족 비디오 4K로 만들 수 있나요?"임.

답은: 4K 파일은 만들 수 있지만, 4K 화질은 안 됩니다.
대신 720p~1080p로 깔끔하게 정리하면 체감 만족도는 훨씬 높음.
무리한 4K보다 잘 정리된 1080p가 진짜로 더 예쁘게 보임. 이거 진짜임ㅋㅋ

11. 자주 나오는 질문 모음 (카톡식 QnA)

Q. 업스케일 여러 번 돌리면 더 좋아지지 않음?

A. 노노ㅋㅋ 2배 → 2배 하면 두 번째 AI는 첫 번째 AI가 지어낸 픽셀을 원본으로 착각함.
환각 위에 환각 쌓기. 복사본의 복사본 느낌으로 점점 이상해짐.
한 번에 원하는 배율로 가는 게 나음.

Q. 무료 툴로도 될까요?

A. 됨. Real-ESRGAN, waifu2x, Upscayl, VapourSynth 조합 다 무료임.
유료가 편의성·속도·시간일관성에서 유리한 건 사실인데
결과 차이의 대부분은 툴이 아니라 전처리에서 갈림. 진짜임.

Q. 컬러라이제이션(흑백→컬러)은 믿을 만함?

A. 시각적으로는 놀라움. 정확도는 0에 수렴ㅋㅋ
AI는 "하늘은 파랑, 잔디는 초록, 피부는 살색" 이런 통계적 상식으로 칠함.
누군가의 빨간 스웨터가 파란색이 될 수도 있음. 감상용으로만.

Q. 60fps 보간 넣는 게 좋음?

A. 스포츠·액션·게임 영상 → 굿
영화·드라마 → 대부분 비추(소프오페라 효과)
애니메이션 → 진짜 비추. 애니는 의도적으로 프레임을 덜어내는 연출(리미티드 애니메이션)이 있어서 보간하면 연출 의도가 박살남.

Q. GPU 뭐 써야 함?

A. VRAM이 왕임. 4K 출력하려면 최소 8GB, 편하게 하려면 12GB 이상.
CPU만으로도 되긴 하는데 10분짜리에 하루 걸릴 수 있음ㅋㅋ
장편이면 구간별로 쪼개서 처리하고 나중에 합치는 게 안전함.

Q. 결과물이 좀 인공적인데요?

A. 디노이즈 강도 낮추고, 원본 그레인을 약하게 다시 얹어보셈.
약간의 노이즈가 있는 게 오히려 사람 눈엔 자연스럽고 디테일 있어 보임.
너무 깨끗한 화면은 가짜처럼 보임. 이게 영상 심리의 재밌는 부분.

12. 마무리: 업스케일을 대하는 올바른 자세

"AI 업스케일은 타임머신이 아니라, 아주 성실한 복원 화가다."

깨진 도자기를 붙이고 없는 부분을 메꿔주지만,
그 메꾼 부분은 원래 도자기가 아님. 그걸 알고 쓰는 게 전문가.

정리하자면 이럼 👇

1. 픽셀 수 ≠ 화질. 실효 해상도를 보자.
2. 2배는 복원, 4배는 반반, 8배 이상은 창작.
3. 전처리(디인터레이스·디노이즈)가 AI 모델 선택보다 중요하다.
4. 영상은 시간적 일관성이 생명. 사진용 모델 쓰지 말자.
5. 원본은 무조건 보관. 되돌릴 수 없다.
6. 글자·얼굴·증거자료는 AI를 믿지 말 것.
7. 잘 정리된 1080p > 억지로 만든 4K

기술은 계속 좋아지고 있음. 확산모델 기반 영상 복원이 시간 일관성 문제를
꽤 잡아가는 중이고, 몇 년 뒤면 지금 결과물이 촌스러워 보일 수도 있음.

근데 정보 이론의 한계는 안 바뀜.
없는 정보를 만들어내는 건 영원히 "추측"임. 더 정교한 추측이 될 뿐.

그러니까 다음에 "AI 4K 복원!" 영상 보면
이제 여러분은 이렇게 생각할 수 있음:
"오 잘 지어냈네ㅋㅋ 근데 저 간판 글자는 원래 저거 아니었을걸?"

이게 바로 아는 사람의 시선임 😎
영상변환의 세계, 생각보다 깊고 재밌음.
직접 한번 돌려보면 이 글 내용이 훨씬 확 와닿을 거임. 화이팅!

추가로 파볼 만한 키워드

VapourSynth 스크립팅 / QTGMC 파라미터 튜닝 / Real-ESRGAN 커스텀 모델 학습 /
VMAF 기반 인코딩 최적화 / 필름 그레인 합성(Film Grain Synthesis) /
AV1 코덱의 그레인 보존 기능 / 광학 흐름(Optical Flow) 기반 프레임 보간

이런 거 하나씩 파다 보면 어느새 영상 복원 덕후 되어 있음ㅋㅋ

지식인의 숲 - 지적 재산권 보호 고지

지적 재산권 보호 고지

사용 제한: 재능넷의 명시적 서면 동의 없이 본 컨텐츠를 복제, 수정, 배포, 또는 상업적으로 활용하는 행위는 엄격히 금지됩니다.
데이터 수집 금지: 본 컨텐츠에 대한 무단 스크래핑, 크롤링, 및 자동화된 데이터 수집은 법적 제재의 대상이 됩니다.
AI 학습 제한: 재능넷의 AI 생성 컨텐츠를 타 AI 모델 학습에 무단 사용하는 행위는 금지되며, 이는 지적 재산권 침해로 간주됩니다.

음악/영상 · 분야 선택22개 분야

Ver4.0 오래된 영상도 4K가 될까? AI 업스케일의 한계

오래된 영상도 4K가 될까? AI 업스케일의 한계

0. 들어가기 전에: "화질 복원" 떡밥, 왜 이렇게 뜨거움?

1. 해상도 = 픽셀 개수? ㄴㄴ 그거 반만 맞음

2. 옛날 방식: 보간법(Interpolation)의 세계