🎧 프롤로그 : 당신의 스마트폰 안에는 오케스트라가 산다

우리가 매일 듣는 음악 중 순수하게 실제 악기 소리만으로 만들어진 곡은 생각보다 드뭅니다.
K-POP의 킥드럼, 게임의 효과음, 유튜브 브금, 심지어 스마트폰 알람 소리까지.
이 소리들의 절대다수는 진짜 진동하는 물체 없이 계산으로 만들어진 소리입니다.

조금 무섭지 않나요?
공기를 때리는 나무판도, 떨리는 현도 없는데 우리는 분명히 "피아노 소리"를 듣습니다.
이것이 디지털 사운드 신디시스(Digital Sound Synthesis)의 마법이자, 철저한 공학입니다.

이 글에서는 아날로그 전압 회로에서 시작해,
FM 합성이라는 수학적 대발견, 샘플링의 물량전, 그리고 오늘날의 물리 모델링과 신경망 합성까지
'소리를 만드는 공학'의 전 역사와 원리를 차근차근 풀어보겠습니다.

1️⃣ 소리란 무엇인가 : 숫자로 번역된 공기의 떨림

공기의 압력 변화, 그 이상도 이하도 아니다

물리적으로 소리는 매질(주로 공기)의 압력이 시간에 따라 변하는 현상입니다.
스피커 콘이 앞으로 밀리면 공기가 압축되고, 뒤로 당겨지면 희박해집니다.
이 압력 변화가 귀의 고막을 밀고 당기면 우리는 소리를 듣습니다.

즉 소리 = 시간에 대한 압력 함수 p(t) 입니다.
악기가 하는 일은 결국 "특정한 모양의 p(t)를 만드는 것"에 불과합니다.
바이올린이든 신디사이저든 목표는 똑같습니다.

아날로그를 디지털로 : 샘플링과 양자화

컴퓨터는 연속적인 함수를 다루지 못합니다. 이산적인 숫자만 다룹니다.
그래서 두 번의 '잘라내기'가 필요합니다.

이렇게 만들어진 숫자열이 바로 PCM(Pulse Code Modulation) 데이터입니다.
CD 음질이라는 표현의 실체는 "44.1kHz / 16bit / 스테레오"라는 규격이죠.

푸리에 : 모든 소리는 사인파의 합이다

조제프 푸리에의 통찰은 소리 공학의 헌법입니다.
아무리 복잡한 주기 파형도 서로 다른 주파수·진폭·위상을 가진 사인파의 합으로 분해된다.

기타 줄을 튕기면 기본 주파수(예: 440Hz)만 나오는 게 아닙니다.
880Hz, 1320Hz, 1760Hz… 정수배의 배음(harmonics)이 함께 울립니다.
이 배음들의 상대적 세기 분포가 바로 음색(timbre)의 정체입니다.

초기 신디사이저 설계자들은 이 표를 보고 무릎을 쳤습니다.
"배음이 잔뜩 든 파형을 먼저 만들고, 필요 없는 걸 깎아내면 되겠네?"
이것이 감산 합성의 탄생입니다.

2️⃣ 감산 합성 : 소리를 조각하는 기술

조각가의 방식

대리석 덩어리에서 필요 없는 부분을 깎아 조각상을 만들듯,
배음이 풍부한 원재료 파형에서 필터로 특정 주파수를 깎아내는 방식입니다.
1960년대 로버트 모그(Robert Moog)와 돈 부클라가 정립했고, 오늘날까지 신스의 표준 구조입니다.

VCO ──▶ VCF ──▶ VCA ──▶ OUT
 │       │       │
 │       │       └── EG2 (Amp Envelope)
 │       └────────── EG1 (Filter Envelope) + LFO
 └────────────────── LFO (Vibrato)

VCO — 원재료 공장

오실레이터는 톱니파, 사각파, 삼각파, 노이즈를 만들어냅니다.
디지털 구현에서는 위상 누산기(phase accumulator)를 씁니다.

// 디지털 오실레이터의 핵심
phase += frequency / sampleRate;   // 위상 전진
if (phase >= 1.0) phase -= 1.0;    // 0~1 순환

sine  = sin(2 * PI * phase);
saw   = 2.0 * phase - 1.0;
square= (phase < 0.5) ? 1.0 : -1.0;
tri   = 1.0 - 4.0 * fabs(phase - 0.5);

하지만 여기엔 함정이 있습니다.
수학적으로 완벽한 톱니파는 무한한 배음을 갖는데, 디지털 세계에는 나이퀴스트 한계가 있습니다.
22.05kHz를 넘는 배음들은 앨리어싱(aliasing)으로 되접혀 들어와 불협화적인 금속음을 만듭니다.

이를 막기 위해 BLIT, BLEP, PolyBLEP, 웨이브테이블 밉맵 같은 기법이 개발됐습니다.
특히 PolyBLEP은 파형의 불연속점 주변만 다항식으로 살짝 부드럽게 만들어
연산량 대비 효과가 뛰어나 현대 소프트웨어 신스에서 널리 쓰입니다.

VCF — 음색의 주인공, 필터

감산 합성의 심장은 필터입니다.
저역통과 필터(LPF)는 차단 주파수(Cutoff) 위의 배음을 깎아 소리를 어둡게 만듭니다.

필터의 기울기(slope)는 옥타브당 감쇠량으로 표현합니다.
1극(pole)당 6dB/oct. Moog의 전설적인 Ladder Filter는 4극 = 24dB/oct으로,
그 급격한 감쇠와 독특한 왜곡이 '무그 사운드'의 정체입니다.

또 하나의 마법은 레조넌스(Resonance, Q)입니다.
차단 주파수 부근을 되먹임으로 증폭시켜 봉긋한 피크를 만듭니다.
Q를 극한으로 올리면 필터 자체가 발진해 사인파를 뱉어내죠 — 애시드 하우스의 그 "뾰옹" 소리입니다.

ADSR — 소리의 인생 곡선

실제 악기는 소리가 갑자기 켜지고 꺼지지 않습니다.
피아노는 쾅 하고 시작해 서서히 사라지고, 바이올린은 서서히 부풀어 오릅니다.
이 시간에 따른 음량 변화를 모델링한 것이 ADSR 엔벨로프입니다.

Attack을 0에 가깝게, Sustain을 0으로 두면 → 타악기·플럭 사운드
Attack을 길게, Sustain을 높게 두면 → 패드·스트링 사운드
단 네 개의 숫자가 악기의 성격을 결정합니다.

엔벨로프는 음량뿐 아니라 필터 컷오프에도 걸 수 있습니다.
소리가 처음엔 밝게 시작했다가 서서히 어두워지는 — 실제 물리 악기의 자연스러운 거동을
훌륭하게 흉내 내는 핵심 기법입니다. 현악기의 고배음은 저배음보다 빨리 감쇠하니까요.

3️⃣ 가산 합성 : 사인파를 쌓아 올리는 건축

감산 합성이 조각이라면, 가산 합성은 레고 블록 쌓기입니다.
푸리에 이론을 문자 그대로 구현합니다 — 사인파를 수십, 수백 개 더해서 원하는 파형을 만드는 것.

output(t) = Σ  Aₙ(t) · sin(2π · fₙ(t) · t + φₙ)
           n=1..N

각 배음마다 독립적인 진폭 엔벨로프를 줄 수 있다는 게 최대 강점입니다.
실제 피아노를 분석하면 8배음은 2배음보다 훨씬 빨리 사라집니다.
가산 합성은 이런 미세한 거동을 완벽히 재현할 수 있습니다.

단점은 명확합니다. 연산량과 파라미터 지옥.
64배음 × (진폭 엔벨로프 4포인트 + 주파수 편차) = 수백 개의 조절값.
사람이 감으로 다루기엔 너무 많습니다. 그래서 1980년대에는 주류가 되지 못했습니다.

다만 오늘날 스펙트럼 재합성(spectral resynthesis) 기술이 발전하며 부활 중입니다.
실제 소리를 FFT로 분석해 파셜 데이터를 뽑아내고, 그걸 자유롭게 변형해 재합성하는 방식.
목소리를 악기로 모핑시키는 마법 같은 효과가 여기서 나옵니다.

4️⃣ FM 합성 : 스탠퍼드에서 시작된 혁명

우연한 발견

1967년, 스탠퍼드대의 작곡가 존 초닝(John Chowning)은
비브라토 실험 중이었습니다. 사인파의 주파수를 다른 사인파로 흔드는 것.
흔드는 속도를 점점 올리다가, 가청 주파수(20Hz 이상)를 넘기자 —
비브라토가 사라지고 완전히 새로운 음색이 튀어나왔습니다.

수식은 놀랍도록 단순하다

y(t) = A · sin( 2π·fc·t + I · sin(2π·fm·t) )

fc = 캐리어 주파수 (기본 음높이)
fm = 모듈레이터 주파수
I  = 변조 지수 (Modulation Index)

단 두 개의 사인파와 한 번의 곱셈.
그런데 결과물은 수십 개의 사이드밴드(측파대)를 만들어냅니다.
생성되는 주파수 성분은 fc ± n·fm (n = 0, 1, 2, 3...)

각 사이드밴드의 진폭은 베셀 함수 Jₙ(I)로 결정됩니다.
변조 지수 I가 커질수록 더 멀리, 더 많은 사이드밴드가 생겨 소리가 밝아집니다.
I를 엔벨로프로 움직이면 = 필터 스윕과 유사한 효과를 필터 없이 얻습니다.

비율이 음색을 결정한다

바로 이 비조화 스펙트럼이 FM의 킬러 기능이었습니다.
감산 합성으로는 종소리·전기피아노·유리 소리를 만들기가 극도로 어려웠는데,
FM은 파라미터 몇 개로 툭 하고 만들어냈습니다.

Yamaha DX7 — 음악 역사를 바꾼 기계

야마하는 초닝의 특허를 라이선스해 1983년 DX7을 출시했습니다.
6개의 오퍼레이터(사인파 발진기 + 엔벨로프)를 32가지 알고리즘으로 연결하는 구조.

동시에 DX7은 "프로그래밍이 불가능한 신스"로도 악명 높았습니다.
멤브레인 버튼과 작은 LCD 하나로 수백 개 파라미터를 다뤄야 했고,
FM의 결과를 직관적으로 예측하기가 너무 어려웠습니다.
결국 대부분의 사용자가 공장 프리셋만 사용했고, 그래서 80년대 음악이 다 비슷하게 들립니다.

5️⃣ 샘플링 : "그냥 진짜 소리를 녹음하면 되잖아?"

메모리가 싸지자 벌어진 일

1980년대 후반, 메모리 가격이 급락하면서 판도가 뒤집힙니다.
소리를 수식으로 만들 필요 없이 그냥 녹음해서 재생하면 되니까요.
Fairlight CMI, E-mu Emulator를 거쳐 Roland의 LA 합성, Korg M1이 시장을 장악합니다.

단순해 보이지만 난제투성이

그래서 현대의 고품질 오케스트라 라이브러리는 용량이 수백 GB에서 1TB를 넘습니다.
악기별 × 주법별(레가토/스타카토/트레몰로/피치카토) × 벨로시티 × 라운드로빈 × 마이크 위치.
조합 폭발이죠.

웨이브테이블 합성 — 샘플과 신스의 하이브리드

단일 사이클 파형을 여러 개 늘어놓고, 그 사이를 모핑하며 이동하는 방식입니다.
PPG Wave, Waldorf가 개척했고, 오늘날 Serum, Vital, Massive가 대표주자입니다.

웨이브테이블의 위치를 LFO나 엔벨로프로 스캔하면
정적인 오실레이터로는 불가능한 살아 움직이는 음색 변화가 만들어집니다.
현대 EDM과 하이퍼팝의 그 '변신하는 베이스'는 대부분 웨이브테이블 산물입니다.

여기에 Unison(디튠된 복수 보이스 겹치기)을 더하면
그 유명한 "슈퍼소(Supersaw)" 사운드가 됩니다. Roland JP-8000이 만든 트랜스의 상징이죠.

그래뉼러 합성 — 소리를 모래알로 부수다

오디오를 1~100ms 단위의 그레인(grain)으로 잘게 쪼갠 뒤,
이들을 무작위 밀도·피치·위치로 재배열해 구름처럼 흩뿌리는 방식입니다.
데니스 가보르의 '음향 양자' 이론과 이안니스 크세나키스의 작곡 실험에서 출발했습니다.

피치와 시간을 완전히 분리해 제어할 수 있어,
"길이는 10배 늘리되 음높이는 그대로" 같은 조작이 가능합니다.
앰비언트, 영화 사운드 디자인, 공포 게임의 불안한 질감이 대부분 여기서 나옵니다.

6️⃣ 물리 모델링 : 소리가 아니라 '악기'를 시뮬레이션하기

발상의 전환

앞선 방법들은 모두 결과물(파형)을 흉내 냈습니다.
물리 모델링은 다릅니다. 악기의 물리 법칙 자체를 수치 해석합니다.
줄의 장력, 공기 기둥의 공명, 나무의 감쇠 특성을 방정식으로 풀어 소리를 "발생"시킵니다.

∂²y/∂t² = c² · ∂²y/∂x²

y : 줄의 변위,  c : 파동 전파 속도 = √(장력/선밀도)

Karplus-Strong — 놀랍도록 간단한 기타 줄

1983년 발표된 이 알고리즘은 물리 모델링의 입문서입니다.

// 1. 버퍼를 노이즈로 채운다 (= 줄을 튕기는 순간)
for(i=0; i<N; i++) buf[i] = random(-1, 1);

// 2. 버퍼를 순환시키며 인접 두 값을 평균낸다 (= 고배음 감쇠)
loop {
    output = buf[idx];
    buf[idx] = 0.996 * 0.5 * (buf[idx] + buf[(idx+1) % N]);
    idx = (idx + 1) % N;
}
// N = sampleRate / frequency

단 몇 줄인데 진짜 뜯은 기타 줄 소리가 납니다.
노이즈는 '초기 여기(excitation)', 순환 버퍼는 '줄 위를 왕복하는 파동',
평균 연산은 '저역통과 = 고배음이 먼저 죽는 물리 현상'을 각각 나타냅니다.
물리를 알면 코드가 짧아진다는 걸 보여주는 명작입니다.

디지털 웨이브가이드

스탠퍼드 CCRMA의 줄리어스 스미스가 체계화한 기법으로,
파동의 왕복을 양방향 지연선(bidirectional delay line) 쌍으로 모델링합니다.
Yamaha VL1(1994)이 이를 상용화했습니다.

물리 모델링의 진짜 매력 : 연주 표현력

샘플링은 녹음된 것만 재생합니다. 녹음하지 않은 주법은 나올 수 없습니다.
반면 물리 모델은 연주자의 입력에 실시간으로 반응합니다.

활 압력을 서서히 올리면 → 배음이 늘고 소리가 거칠어지고
입술 압력을 과하게 주면 → 실제 관악기처럼 음이 뒤집히고(overblow)
줄을 연주 도중 누르면 → 피치가 자연스럽게 벤딩됩니다.

이 '예측 불가능하지만 물리적으로 타당한' 반응이
악기를 살아있게 만듭니다. Pianoteq 같은 물리 모델 피아노가
수십 GB 샘플 라이브러리와 경쟁하면서도 용량이 50MB 수준인 이유이기도 하죠.

대가는 연산량입니다. 특히 2D/3D 유한차분 모델(드럼 헤드, 심벌, 몸통 판)은
실시간 처리가 여전히 버겁습니다. 하지만 CPU가 매년 빨라지면서 그 벽은 낮아지고 있습니다.

7️⃣ 소리를 완성하는 마지막 층 : 공간과 왜곡

합성된 파형은 사실 "무균실의 소리"입니다.
현실의 소리는 반드시 공간을 거치고, 회로나 공기의 비선형성을 통과합니다.
이 층이 없으면 아무리 정교한 합성도 '가짜' 티가 납니다.

리버브 — 공간을 계산하다

잔향은 벽·천장에서 수만 번 반사된 소리의 누적입니다.

디스토션과 새추레이션 — 착한 왜곡

진공관·테이프·트랜스포머는 신호가 커지면 부드럽게 눌러주며 배음을 추가합니다.
짝수 배음은 따뜻하고 풍성하게, 홀수 배음은 거칠고 공격적으로 들립니다.
디지털에서는 웨이브셰이핑 함수(tanh, soft clip)로 이를 흉내 냅니다.

y = tanh(drive * x);            // 부드러운 새추레이션
y = x - (x*x*x)/3.0;            // 3차 다항식 소프트 클립

주의할 점은 비선형 처리는 반드시 앨리어싱을 만든다는 것.
그래서 진지한 플러그인은 처리 전 4~8배 오버샘플링을 하고,
왜곡 후 저역통과 필터로 다시 원래 샘플레이트로 내립니다.

모듈레이션 이펙트

코러스·플랜저·페이저는 모두 미세한 지연과 위상 간섭을 이용합니다.
원음과 아주 짧게 지연된 복사본을 섞으면 특정 주파수가 상쇄되며 빗살 모양 응답(comb filter)이 생기고,
그 지연 시간을 LFO로 흔들면 소리가 출렁입니다.
80년대 신스 사운드의 광택은 사실 상당 부분 코러스의 공헌입니다.

8️⃣ 실시간이라는 잔인한 제약

여기까지가 '소리를 만드는 법'이었다면, 이제 '제때 만드는 법'입니다.
연주자가 건반을 눌렀는데 소리가 0.2초 뒤에 나면, 그건 악기가 아닙니다.

버퍼와 레이턴시의 줄다리기

오디오 처리는 샘플 하나씩이 아니라 블록 단위로 이뤄집니다.
128샘플, 256샘플 하는 그 버퍼 사이즈입니다.

사람은 대략 10ms 이하면 지연을 거의 느끼지 못합니다.
참고로 소리는 1m 이동에 약 3ms 걸리므로, 3m 떨어진 앰프에서 나는 소리와 비슷한 셈입니다.

오디오 스레드의 절대 규칙

폴리포니와 보이스 스틸링

동시에 울릴 수 있는 음의 개수를 폴리포니라 합니다.
한계에 도달하면 어떤 음을 끌지 결정해야 하는데, 이를 보이스 스틸링이라 합니다.
보통 가장 오래된 음, 가장 작은 음, 릴리즈 중인 음 순으로 희생됩니다.
잘못 설계하면 페달 밟은 피아노 연주에서 저음이 뚝뚝 끊깁니다.

MIDI, 그리고 MPE

1983년의 MIDI 1.0은 건반 정보를 7비트(0~127)로 전송했습니다.
단순하지만 표현력이 부족했고, 특히 음 하나하나에 개별 표현을 줄 수 없었습니다.

MPE(MIDI Polyphonic Expression)는 각 음마다 별도 채널을 할당해
손가락별로 피치 벤드·압력·슬라이드를 독립 제어합니다.
MIDI 2.0은 해상도를 32비트로 끌어올리고 양방향 통신을 지원합니다.
128단계가 아니라 약 43억 단계의 벨로시티라니, 인간의 손이 따라갈 수 있을지는 별개 문제지만요.

9️⃣ 오늘과 내일 : AI가 만드는 소리

뉴럴 오디오 합성

2016년 DeepMind의 WaveNet은 충격이었습니다.
샘플 하나하나를 자기회귀적으로 예측하는 방식으로, 인간에 가까운 음성을 생성했습니다.
다만 초당 수만 번 추론해야 해서 초기엔 1초 생성에 수 분이 걸렸습니다.

이후 병렬화(Parallel WaveNet), GAN 기반 보코더(HiFi-GAN),
확산 모델(Diffusion) 등이 등장하며 실시간에 근접했습니다.

DDSP — 신경망과 DSP의 결혼

가장 흥미로운 흐름은 구글의 DDSP(Differentiable Digital Signal Processing)입니다.
신경망이 파형을 직접 뱉는 게 아니라,
기존 가산 합성기와 필터의 파라미터를 예측하도록 학습시킵니다.

노래하는 목소리를 바이올린 음색으로 바꾸는 데모가 유명하죠.
100년 묵은 푸리에 이론과 최신 딥러닝이 한 모델 안에서 악수하는 장면입니다.

뉴럴 앰프 모델링

기타리스트들 사이에서는 이미 실전입니다.
NAM(Neural Amp Modeler) 같은 오픈소스 프로젝트는
실제 진공관 앰프에 신호를 넣고 나온 출력을 쌍으로 학습시켜,
수천만 원짜리 앰프의 비선형 거동을 몇 MB 모델로 복제합니다.

회로도를 몰라도, 미분방정식을 안 풀어도 됩니다.
입력과 출력만 있으면 블랙박스를 복제하는 시대입니다.

그래서 물리 모델링은 끝났나?

아닙니다. 오히려 둘은 보완재입니다.
물리 모델은 왜 그런 소리가 나는지 설명 가능하고, 존재하지 않는 악기도 설계할 수 있습니다.
(줄 길이 30m에 티타늄 재질의 첼로 같은 것도 계산으로 만들 수 있죠.)
뉴럴 모델은 측정된 현실을 정확히 복제합니다.
앞으로는 '물리 구조 + 학습된 보정항'의 하이브리드가 주류가 될 가능성이 높습니다.

🔟 생활 속에서 만나는 합성 사운드

이 기술들은 스튜디오에만 있지 않습니다. 당신의 하루 전체에 깔려 있습니다.

이런 지식이 흥미롭게 느껴진다면, 실제로 만져보는 게 가장 빠른 길입니다.
요즘은 무료 신디사이저 플러그인만으로도 충분히 실험할 수 있고,
재능넷 같은 재능 공유 플랫폼에서는 사운드 디자인, DSP 프로그래밍, 작곡 편곡 등
실무자에게 직접 배우거나 협업할 수 있는 통로가 열려 있습니다.
이론과 실습이 만나는 순간, 파라미터 하나하나가 갑자기 의미를 갖기 시작합니다.

🛠️ 직접 해보는 사운드 디자인 : 실전 레시피

이론만으론 아쉬우니, 대표적인 소리를 만드는 실제 설정을 정리했습니다.
어떤 신스를 쓰든 개념은 동일합니다.

① 클래식 신스 베이스

② 따뜻한 패드

③ FM 벨 사운드

④ 스네어 드럼

여기서 깨닫게 되는 진실이 있습니다.
좋은 소리는 복잡한 게 아니라, 각 요소가 왜 거기 있는지 아는 소리입니다.
노브를 무작정 돌리는 것과 "고배음이 먼저 죽어야 자연스럽다"는 걸 알고 Decay를 줄이는 건
완전히 다른 작업입니다.

📌 한눈에 보는 합성 기법 비교

🎬 에필로그 : 수학이 감동을 만드는 순간

정리해봅시다.

공기의 떨림이 숫자열이 되고,
사인파가 더해져 음색이 되고,
필터가 그것을 조각하고,
엔벨로프가 시간의 서사를 부여하고,
리버브가 공간을 입히고,
그렇게 만들어진 숫자열이 다시 스피커를 통해 공기를 떨게 합니다.

이 긴 여정의 끝에서 누군가는 눈물을 흘립니다.
베셀 함수와 유한차분법이 감동을 만들어낸다는 사실 — 공학의 가장 아름다운 모습이 아닐까요.

다음에 게임 BGM을 듣거나, 스마트폰 알람에 잠을 깨거나,
전기차가 스르륵 지나가는 인공음을 들을 때
잠깐만 생각해보세요.

그 소리 뒤에는 수십 년간 쌓인 푸리에, 나이퀴스트, 초닝, 카플러스, 스미스의 흔적이 있습니다.
그리고 초당 44,100번씩, 지금 이 순간에도 누군가의 코드가 조용히 계산을 마치고 있습니다.

🎹 오늘도 당신의 귀에는, 수억 번의 계산이 노래하고 있습니다.