🧭 들어가기 전에: 오토튠은 "치트키"가 아니다

친구야, 우선 오해부터 풀고 가자.
사람들이 "오토튠 썼네"라고 말할 때 보통 두 가지를 섞어서 말해.

즉 오토튠은 "틀린 음을 맞춰주는 기술"이면서 동시에 "하나의 악기"야.
망치로 못을 박을 수도 있고, 망치로 드럼을 칠 수도 있는 거지.

그리고 가장 중요한 팩트 하나.
오토튠은 없는 음을 만들어내지 못한다.
입력 신호에 존재하는 피치를 이동시키는 것일 뿐이야. 그래서 원래 노래를 심각하게 못 부르면, 보정 후엔 "음정은 맞지만 이상하게 흐물거리는 소리"가 나와. 이유는 이 글 끝까지 읽으면 완벽히 이해될 거야.

🔊 1단계: 소리를 이해하려면 "주기"를 봐야 한다

음정 = 반복 속도

목소리의 음정(피치)은 결국 성대가 1초에 몇 번 여닫히는가야.
남성 저음은 대략 80~150Hz, 여성 중음역은 200~350Hz, 소프라노 고음은 1000Hz를 넘기도 해.

그리고 이 진동은 순수한 사인파가 아니야.
성대가 만든 기본 주파수(F0) 위에 그 정수배인 배음(harmonics)이 층층이 쌓여 있어. 100Hz로 노래하면 200, 300, 400, 500Hz…가 동시에 울려. 이 배음 구조의 세기 분포가 바로 음색이지.

여기서 핵심 감각 하나.
음정을 바꾼다 = 파형의 반복 주기를 늘이거나 줄인다.
말은 쉬운데, 이걸 "속도를 바꾸지 않고" 해야 하니까 골치가 아픈 거야. 테이프를 빨리 돌리면 음은 올라가지만 노래가 다람쥐 속도가 되잖아? 오토튠은 그걸 피해야 해.

센트(cent) 단위를 알아야 대화가 된다

피치 보정 UI를 열면 Hz보다 센트(cents)가 더 많이 보여.

그래서 프로 엔지니어들이 "이 구간 12센트 올려줘" 같은 말을 해. Hz로 말하면 음역마다 값이 달라져서 불편하니까(고음에선 반음 간격이 Hz로 훨씬 넓음), 로그 스케일인 센트를 쓰는 거지.

🔍 2단계: 피치 검출 — "지금 무슨 음인지" 알아내는 기술

보정의 첫 단추는 검출이야. 틀린 걸 알아야 고치니까.
그런데 사람 목소리는 지저분해. 숨소리, 방 반사음, 자음의 노이즈, 비브라토, 성대 프라이(fry)까지 섞여 있어. 이 난장판에서 F0를 뽑아내는 방법은 크게 세 갈래야.

① 자기상관(Autocorrelation) — "나랑 나를 겹쳐본다"

파형을 복사해서 조금씩 밀면서 원본과 곱해 더해봐.
정확히 1주기만큼 밀었을 때 두 파형이 가장 잘 겹치니까 값이 최대가 돼. 그 밀린 양(lag)이 곧 주기, 주기의 역수가 주파수.

장점은 튼튼함. 단점은 옥타브 오류. 2주기 밀어도 잘 겹치니까 한 옥타브 낮게 잡는 실수를 해. 그래서 실제 구현은 YIN 계열처럼 차이함수(difference function)를 정규화하고, 누적평균으로 낮은 lag에 가중치를 주는 트릭을 써.

② 주파수 영역 접근 — "빗살을 맞춰본다"

FFT로 스펙트럼을 만든 뒤, 배음들이 규칙적인 간격으로 서 있으니 그 간격을 찾는 방식. 대표적으로 HPS(Harmonic Product Spectrum)는 스펙트럼을 1/2, 1/3, 1/4로 압축해 곱해서 F0 위치에 피크를 몰아줘.

장점은 배음 구조를 함께 보니 음색 변화에 강함. 단점은 시간 분해능. 창(window)이 길어야 저음을 잘 보는데, 창이 길면 빠른 피치 변화에 늦게 반응해.

③ 확률·학습 기반 — 요즘 대세

pYIN처럼 여러 후보 피치에 확률을 부여하고 HMM으로 시간축을 따라 가장 그럴듯한 경로를 고르는 방식, 그리고 CREPE처럼 딥러닝으로 스펙트럼 패턴을 학습해 피치를 예측하는 방식이 있어.

최신 DAW의 오디오-투-미디, 보컬 피치 에디터들의 검출 정확도가 몇 년 사이 눈에 띄게 좋아진 이유가 여기 있어. 예전엔 벨팅 고음이나 걸걸한 톤에서 커브가 튀었는데, 요즘은 꽤 얌전해졌지.

🎯 3단계: 목표 음 결정 — 스케일, 키, 그리고 "함정"

피치를 알았으면 "그래서 어디로 보내야 하나"를 정해야 해.
여기서 오토튠 계열 도구는 스케일 격자를 사용해. 키를 C 메이저로 잡으면 C, D, E, F, G, A, B 가 후보가 되고, 검출된 피치를 가장 가까운 후보로 끌어당겨.

Graphic Mode: 사람이 직접 그리는 방식

자동(Auto) 모드는 실시간 스케일 스냅이지만, 실무 튜닝의 상당수는 그래픽/수동 모드야.
Melodyne, Auto-Tune Graph, Logic Flex Pitch, Cubase VariAudio 같은 도구는 목소리를 "블롭(blob)" 또는 "노트"로 잘라 보여줘. 엔지니어는 그걸 드래그해서 옮기고, 곡선을 다듬고, 비브라토 깊이를 조절해.

이게 훨씬 자연스러운 이유는 음악적 판단이 들어가기 때문이야.
예를 들어 슬라이드로 올라가는 구간은 일부러 목표보다 살짝 낮게 시작하게 남겨둬야 감정이 살아. 기계는 그걸 "틀렸다"고 보고 다 펴버려.

⚙️ 4단계: 실제로 음을 옮기는 3대 엔진

드디어 본편이야. "그래서 어떻게 소리를 올리는데?"
크게 시간영역(PSOLA), 주파수영역(Phase Vocoder), 모델 기반(소스-필터/보코더) 세 가지 계보가 있어.

엔진 1. PSOLA — 주기 조각을 가위로 자르고 재배치

PSOLA(Pitch Synchronous Overlap and Add)는 이름 그대로야.

비유하자면 기차 객차 간격 조절이야. 객차(조각) 자체는 그대로인데 연결 간격만 바꾸는 거지. 객차 모양이 유지되니 포먼트(음색)가 거의 그대로 보존돼. 그래서 살짝의 보정(±1~2반음)에서 PSOLA는 정말 자연스러워.

단점도 있어.
피치 마크를 잘못 찍으면 딸깍거림이나 거친 질감이 생겨. 특히 무성음(s, f, ch)이나 숨소리는 "주기"가 없으니 PSOLA가 헷갈려. 그래서 좋은 구현은 유성/무성 판별(V/UV)을 하고, 무성 구간은 손대지 않고 그냥 지나가.

엔진 2. Phase Vocoder — 스펙트럼을 재해석해 다시 합성

이쪽은 완전히 다른 철학이야. 신호를 짧게 잘라 FFT로 주파수 성분들의 크기와 위상으로 바꿔놓고, 그 성분들을 원하는 주파수로 재배치한 뒤 역변환해서 다시 소리로 만들어.

핵심 난관은 위상(phase) 관리야.
프레임마다 위상을 제대로 이어붙이지 않으면 배음들이 서로 어긋나서 소리가 흐물거려. 이게 유명한 "phasiness", 즉 물에 잠긴 듯한 금속성 잔향감이야. 그래서 phase locking(배음 피크 주변 위상을 피크에 묶어주기) 같은 기법이 발전했지.

대신 장점은 강력함. 큰 피치 이동, 타임 스트레치, 포먼트 독립 조절, 다성(polyphonic) 처리까지 확장하기 쉬워. Melodyne의 DNA 기술이 화음 속 개별 음을 뽑아내는 것도 스펙트럼 영역 분석·분리에 기반해.

엔진 3. 소스-필터 모델 — 목소리를 "성대 + 성도"로 쪼갠다

음성학의 고전 모델이야.

LPC(선형예측부호화) 같은 기법으로 신호에서 필터 특성을 추정해 벗겨내면, 남는 건 잔차(residual) — 거칠지만 음정 정보가 담긴 소스 신호야. 여기서 소스의 피치만 바꾸고 필터는 그대로 다시 씌우면, 음색은 유지되면서 음정만 바뀐 목소리가 나와.

이게 왜 중요하냐면, 포먼트 보존이 자연스러움의 핵심이기 때문이야.

이제 이해되지? 테이프 빨리 감기가 왜 우스꽝스럽게 들리는지.
그건 소스와 필터를 함께 옮겨버려서, 성도 길이가 짧아진(=몸집이 작아진) 것처럼 들리는 거야. 반대로 피치를 내리면 거인/괴물 목소리가 나오지.

그래서 요즘 플러그인엔 Formant / Throat / Gender 같은 파라미터가 있어. 피치는 +5반음 올리면서 포먼트는 그대로 두거나, 반대로 포먼트만 살짝 내려 톤을 두껍게 만드는 크리에이티브한 사용도 가능해.

🎛️ 5단계: 노브 해부 — Retune Speed, Humanize, Flex-Tune

원리를 알았으니 이제 UI가 다르게 보일 거야. 가장 중요한 세 가지를 뜯어보자.

Retune Speed — 이 글의 주인공

"목표 음까지 얼마나 빨리 끌어당길까"를 정하는 값이야. 밀리초 단위 시간상수로 생각하면 돼.

Humanize — 롱톤만 살려주는 안전장치

딜레마가 있어. 빠른 프레이즈는 Retune이 빨라야 따라잡는데, 긴 롱톤은 Retune이 빠르면 비브라토가 죽어.
Humanize는 지속음 구간에만 리트로 속도를 늦춰서 비브라토를 살려주는 기능이야. 빠른 음절은 빠르게, 길게 뻗는 음은 느슨하게. 이 노브 하나로 "기계 냄새"가 확 줄어.

Flex-Tune / Natural Vibrato — 격자를 느슨하게

Flex-Tune 계열은 목표 음 근처에 있을 때는 손대지 않고, 크게 벗어났을 때만 개입해. 즉 "이미 잘 부른 부분은 건드리지 말자"는 철학이야.
결과적으로 자연스러운 표현(살짝 낮게 시작해서 올라가는 벤딩, 감정적인 샤프닝)이 살아남아.

Key / Scale / Note Bypass

앞서 말한 격자 설정. 실무 팁을 정리하면:

🎙️ 7단계: 가장 중요한 진실 — 입력이 전부다

여기가 진짜 실전 파트야. 아무리 좋은 플러그인을 써도 소스가 나쁘면 답이 없어. 이유를 하나씩 보자.

① 룸 리버브 = 피치 검출의 적

방 반사음이 섞이면 직접음의 주기 구조가 흐려져. 특히 반사가 많은 방에서는 같은 음이 시간차로 겹쳐 자기상관 피크가 무뎌지고, 검출 커브가 튀어. 그러면 보정이 엉뚱한 방향으로 걸려서 "부르르" 하는 이상한 요동이 생겨.

② 두 사람이 겹친 트랙은 못 고친다

PSOLA도 소스-필터도 단일 피치(monophonic) 가정 위에서 작동해. 유니슨으로 두 사람이 같이 부른 한 트랙, 또는 스피커 소리가 마이크로 새어 들어간 트랙은 F0가 여러 개라 검출이 붕괴돼.

그래서 코러스는 반드시 파트별로 따로 녹음해야 튜닝이 가능해. 이건 편집 기술이 아니라 녹음 설계의 문제야.

③ 숨소리·브레스·자음은 건드리지 마라

무성 자음에는 피치가 없어. 여기에 보정이 걸리면 질감이 이상해져.
좋은 워크플로우는 보컬 트랙에서 튜닝 구간만 잘라내(또는 게이트/영역 지정) 처리하는 거야. Melodyne 같은 도구는 무성음 블롭을 따로 표시해줘서 실수를 줄여줘.

④ 과한 컴프레션 이후 튜닝은 위험

강하게 압축된 신호는 다이내믹이 눌려 배음 구조와 트랜지언트가 변형돼 있어. 튜닝은 되도록 체인 앞단(컴프 전)에서 하는 게 정석이야. 순서로 보면:

보컬 녹음(Dry)
 → 노이즈/브레스 정리
 → 타이밍 편집
 → 피치 보정  ← 여기!
 → EQ / 컴프레서 / 디에서
 → 새추레이션
 → 리버브 / 딜레이

물론 "이펙트로서의 오토튠"을 쓸 땐 순서가 달라질 수 있어. 일부러 컴프 뒤에 걸어 톤을 더 찌그러뜨리는 것도 선택이야. 규칙은 목적에 따라 유연하게.

🧠 8단계: 노트 기반 편집(Melodyne 계열)은 뭐가 다른가

Auto-Tune Auto 모드가 "실시간 자동 스냅"이라면, Melodyne류는 오디오를 악보처럼 다루는 접근이야.

무슨 뜻이냐면 — "음정은 맞췄는데 비브라토가 너무 심해"를 비브라토만 40% 줄이기로 해결할 수 있다는 거야. 자동 모드는 이런 분해가 안 되니까 다 같이 뭉개져.

더블링과 하모니 생성

피치 시프트 기술은 없던 화음을 만드는 데도 쓰여. 리드 보컬을 복사해 +3/+4반음, ±7반음으로 옮기면 하모니 라인이 생기지. 다만 기계 하모니는 포먼트가 동일해서 "같은 사람이 여러 명"처럼 들려 — 그래서 포먼트를 미세하게 다르게 주거나, 타이밍을 몇 ms 흔들거나, 실제로 한 번 더 부르는 게 훨씬 좋아.

이런 실전 워크플로우는 글로만 익히기 어려운 영역이라, 재능넷의 믹싱·보컬 편집 분야 전문가들에게 자기 트랙을 직접 봐달라고 요청하는 것도 좋은 방법이야. 같은 플러그인을 써도 "어디를 얼마나 남기는가"의 판단이 결과를 갈라놓거든.

🗣️ 10단계: 오해 바로잡기 Q&A

Q. 오토튠 쓰면 음치도 가수 되나요?

아니. 두 가지 이유로 안 돼.
첫째, 검출이 흔들려. 피치가 심하게 불안정하면 알고리즘이 어떤 음을 의도했는지 판단을 못 해. 반음 위로 끌려갈 수도 있어.
둘째, 큰 보정량은 아티팩트를 만들어. ±50센트 정도는 감쪽같지만, 2~3반음 단위로 끌어올리면 포먼트와 배음 균형이 어긋나서 합성음 느낌이 티 나.

Q. 그럼 실력 좋은 가수는 안 쓰나요?

대부분 써. 다만 "고치기" 용도가 아니라 다듬기 용도야.
좋은 테이크에서도 롱톤 끝부분이 5~15센트 내려가거나, 더블링 트랙이 리드와 살짝 어긋날 수 있어. 특히 더블/하모니 트랙끼리의 정합은 튜닝 없이는 거의 불가능해. 화음에서 10센트 차이는 맥박처럼 흔들리게 들려.

Q. 왜 요즘 노래는 다 비슷하게 들려요?

튜닝 탓만은 아니야. 근데 영향은 있어.
음정을 격자에 정확히 붙이고, 타이밍도 그리드에 붙이고, 컴프로 다이내믹을 평탄하게 만들면 개인차가 줄어들어. 그래서 요즘 프로듀서들은 의도적으로 일부 구간은 손대지 않고 남겨두는 미학을 다시 채택하고 있어.

Q. 악기도 튜닝할 수 있나요?

가능. 단음 악기(리드 신스, 베이스, 플루트, 색소폰)는 보컬과 같은 원리로 잘 돼.
기타 화음이나 피아노 같은 다성 악기는 훨씬 어렵고, Melodyne DNA 같은 다성 분리 기술이 필요해. 그래도 완벽하진 않아서 실무에선 다시 녹음하는 편이 빠를 때가 많아.

Q. 이미 믹스된 음원(2mix)에서 보컬 음정만 고칠 수 있나요?

예전엔 불가능에 가까웠는데, 최근 스템 분리(source separation) 기술이 좋아져서 보컬을 뽑아 튜닝하고 다시 합치는 시도가 가능해졌어.
다만 분리 과정에서 아티팩트가 남고, 잔향에 포함된 원래 피치는 반주 쪽에 남아 있어서 두 개의 음정이 동시에 들릴 수 있어. 근본 해결은 아니야.

Q. 비브라토가 사라졌어요.

Retune Speed가 너무 빠른 거야. 비브라토는 보통 초당 4~7회, 깊이 ±20~100센트 정도의 주기적 피치 변동인데, 빠른 리트로는 이걸 "오차"로 보고 지워버려.
→ Retune을 늦추거나, Humanize를 올리거나, 노트 기반 편집으로 비브라토 파라미터만 따로 조절해.

🧰 11단계: 바로 적용하는 실전 세팅 레시피

📌 한 장 요약

이 원리를 알고 나면 플러그인 프리셋을 그냥 누르는 게 아니라, "아, 여기는 검출이 흔들리니까 구간을 나눠서 처리해야겠다" 같은 판단이 생겨. 그 판단력이 아마추어와 프로를 갈라. 그리고 그건 결국 귀를 많이 쓰면서 자라는 근육이야.

다음에 좋아하는 노래를 들을 때, 후렴의 롱톤이 어떻게 흔들리는지, 음 사이가 계단인지 곡선인지 한번 귀 기울여봐. 그 순간부터 너는 소리를 듣는 사람에서 소리를 보는 사람이 되는 거야. 🎧