🎬 들어가며 : "뇌를 베꼈다"는 말의 진실

친구야, 우리 솔직히 한 번쯤은 이런 말 들어봤잖아.

"인공신경망? 그거 사람 뇌 구조 그대로 따라 만든 거야."

이 문장, 절반은 맞고 절반은 거의 도시전설이야.
맞는 부분은 "영감(inspiration)을 받았다"는 것이고,
틀린 부분은 "그대로 복사했다"는 뉘앙스야.

비유하자면 이래.
비행기는 새에서 영감을 받았지만, 날개를 퍼덕이지 않아.
잠수함은 물고기에서 영감을 받았지만, 아가미가 없어.
인공신경망도 똑같아. 뉴런에서 아이디어를 훔쳐왔지만, 구현 방식은 완전히 딴판인 구석이 많지.

그런데 말이야. 재미있는 건, "완전히 딴판"이라고 단정 짓기엔 놀라울 만큼 닮은 지점들이 계속 발견되고 있다는 거야.
2023년 이후 신경과학자들과 딥러닝 연구자들이 서로의 논문을 훔쳐보기 시작하면서, "어? 우리가 우연히 만든 이 구조가 진짜 시각피질이랑 똑같이 작동하는데?" 하는 순간들이 계속 터지고 있거든.

오늘은 이 애매하고 미묘하고 그래서 더 재밌는 관계를 낱낱이 파헤쳐볼 거야.
생물학적 뉴런의 실제 스펙부터, 퍼셉트론이 뭘 베끼고 뭘 버렸는지, CNN이 고양이 뇌에서 뭘 훔쳤는지,
그리고 지금 실험실에서 벌어지고 있는 뉴로모픽 칩과 스파이킹 신경망 이야기까지.

🧬 1부. 진짜 뉴런의 스펙 시트

비교를 하려면 원본부터 알아야지. 인간 뉴런의 실물 스펙을 뜯어보자.

1-1. 뉴런의 기본 부품 4종 세트

자, 하나씩 친구한테 설명하듯 가볼게.

① 수상돌기(Dendrite)
나뭇가지처럼 뻗어 있는 입력부야. 다른 뉴런들한테서 신호를 받아오는 담당.
한 뉴런이 평균적으로 수천 개에서 많게는 10만 개의 입력을 받아.
소뇌의 푸르키니에 세포(Purkinje cell) 같은 놈은 시냅스가 약 15만~20만 개에 달해. 미쳤지?

② 세포체(Soma)
들어온 신호들을 다 모아서 "지금 터질까 말까"를 결정하는 본진.
여기 안에 핵이 있고, 막전위(membrane potential)를 유지하며 계산을 수행해.

③ 축삭(Axon)
결정이 나면 신호를 쭉 뻗어서 보내는 출력 케이블.
인간 몸에서 가장 긴 축삭은 척수에서 발가락까지 약 1m에 달해. 세포 하나가 1미터라니.

④ 시냅스(Synapse)
축삭 끝과 다음 뉴런 사이의 미세한 틈(약 20~40 나노미터).
여기서 신경전달물질이 튀어나가서 다음 뉴런에게 메시지를 전달해.
바로 여기가 "가중치(weight)"의 생물학적 원본이야. 중요하니까 기억해둬.

1-2. 숫자로 보는 인간 뇌의 하드웨어 스펙

여기서 가장 충격적인 숫자는 뭘까?

20와트.
GPT급 대형 모델 한 번 학습시키는 데 수 기가와트시(GWh)가 들어가는데,
인간 뇌는 형광등 하나보다 적은 전력으로 평생을 작동해.

발화 속도도 웃겨. 뉴런은 초당 200번 정도가 한계인데, CPU는 초당 30억 번이 기본이야.
즉 개별 소자 성능만 보면 실리콘이 뉴런보다 1000만 배 빠르다는 뜻이지.
그런데도 우리가 아직 인간 수준 범용지능을 못 만든 이유는?
바로 구조와 병렬성, 그리고 학습 방식이 완전히 다르기 때문이야.

1-3. 활동전위 : 뉴런은 "0 아니면 1"로 말한다

이 부분이 진짜 재밌어.
뉴런은 아날로그로 계산하지만, 출력은 디지털에 가까워.

평상시 뉴런 내부는 외부보다 전위가 낮아서 약 -70mV를 유지해. 이걸 안정막전위라고 해.
입력이 들어와서 전위가 점점 올라가다가 -55mV라는 문턱값(threshold)을 넘는 순간,

펑!

나트륨 채널이 활짝 열리면서 순식간에 +40mV까지 치솟아. 이게 활동전위(Action Potential), 흔히 말하는 "스파이크"야.

여기서 핵심 포인트 두 개.

(1) All-or-None 법칙
문턱을 넘으면 무조건 최대치로 터지고, 못 넘으면 아무 일도 안 일어나.
"살짝 터지기" 같은 건 없어. 완전히 디지털 신호야.

(2) 정보는 '진폭'이 아니라 '빈도'에 담긴다
그럼 강한 자극과 약한 자극은 어떻게 구분할까?
답은 발화 빈도. 자극이 강하면 초당 100번 터지고, 약하면 초당 5번 터져.
이걸 rate coding(발화율 부호화)이라고 불러.
추가로 temporal coding(시간 부호화) — 언제 터지느냐 그 타이밍 자체에도 정보가 담긴다는 이론도 강력해.

🤖 2부. 인공 뉴런은 무엇을 베꼈나

2-1. 1943년, 모든 것의 시작

이야기는 1943년으로 거슬러 올라가.
신경생리학자 워런 매컬럭(Warren McCulloch)과 논리학자 월터 피츠(Walter Pitts)가
「A Logical Calculus of the Ideas Immanent in Nervous Activity」라는 논문을 냈어.

이들의 주장은 충격적이었어.

"뉴런의 All-or-None 특성은 명제 논리(propositional logic)와 동일하다.
따라서 뉴런의 네트워크는 어떤 논리 함수도 계산할 수 있다."

이게 MCP 뉴런(McCulloch-Pitts Neuron)이야. 딥러닝의 진짜 시조새지.
입력은 0 또는 1, 합쳐서 문턱값 넘으면 1 출력. 끝.

그리고 1958년, 프랭크 로젠블랫(Frank Rosenblatt)이 여기에 학습 가능한 가중치를 붙여서 퍼셉트론(Perceptron)을 발표해.
이게 진짜 게임체인저였어. 왜냐면 "경험으로 스스로 조정된다"는 개념이 처음 코드화된 거니까.

2-2. 1:1 대응표 — 뭘 베꼈는지 정확히 확인

보이지? 시냅스 = 가중치는 거의 1:1로 맞아떨어지는데,
학습 방법만큼은 하늘과 땅 차이야. 이 부분은 3부에서 제대로 팔게.

2-3. 코드로 보면 이렇게 단순하다

# 인공 뉴런 하나의 전부 (NumPy)
import numpy as np

def artificial_neuron(inputs, weights, bias):
    # 1) 수상돌기: 입력 받기
    # 2) 시냅스: 가중치 곱하기
    # 3) 세포체: 전부 더하기
    z = np.dot(inputs, weights) + bias

    # 4) 문턱값 판단 = 활성화 함수 (ReLU)
    return max(0.0, z)

x = np.array([0.5, 0.8, 0.2])   # 세 개의 입력 신호
w = np.array([0.4, -0.6, 0.9])  # 시냅스 강도 (음수 = 억제성!)
b = 0.1

print(artificial_neuron(x, w, b))

진짜 이게 다야. 곱하고, 더하고, 문턱 넘는지 보고.
이 단순한 조각 수십억 개가 쌓여서 GPT가 되고 이미지 생성 AI가 되는 거지.

여기서 재밌는 디테일 하나. 위 코드에서 가중치에 -0.6이 있지?
음수 가중치는 생물학에서 억제성 시냅스(inhibitory synapse)에 해당해.
GABA라는 신경전달물질이 실제로 다음 뉴런의 발화를 막는 역할을 하거든.
뇌에서 흥분성 뉴런과 억제성 뉴런의 비율은 대략 80:20이야.

2-4. 활성화 함수의 진화사 = 생물학과 멀어진 역사

여기서 엄청 아이러니한 사실 하나 알려줄게.

Step 함수는 뉴런의 All-or-None을 가장 정확히 흉내 낸 함수야.
그런데 미분이 안 돼서 학습이 불가능했어.

Sigmoid는 매끄럽게 만들어서 미분 가능하게 했지만, 깊게 쌓으면 기울기 소실(vanishing gradient)이 터졌어.

그래서 나온 게 ReLU. max(0, x)라는 무식할 정도로 단순한 함수.
생물학적으로 보면 "입력이 커질수록 무한히 세게 발화한다"는 건데, 실제 뉴런은 절대 그렇게 안 해. 포화점이 있거든.

그런데도 ReLU가 이겼어. 왜?
성능이 압도적으로 좋았으니까.

이게 딥러닝 역사의 핵심 교훈이야.
"생물학을 더 정확히 따라 할수록 잘 되는 게 아니다."
공학은 결국 실용주의가 이기는 판이지.

⚡ 3부. 결정적 차이 — 여기서 갈라진다

3-1. 역전파 vs 시냅스 가소성

이게 가장 큰 차이야. 제대로 짚고 가자.

딥러닝의 학습 : 역전파(Backpropagation)
① 앞으로 계산해서 답을 냄 → ② 정답과 비교해 오차 계산 → ③ 그 오차를 역방향으로 흘려보내며 모든 가중치를 조금씩 수정.

여기엔 결정적 전제가 있어. 전역적(global) 오차 신호가 모든 층에 정확히 도달해야 한다는 것.
그리고 순방향 가중치와 역방향 가중치가 완전히 동일해야 해.
이걸 weight transport problem(가중치 수송 문제)이라고 불러.

뇌의 학습 : 헤비안 규칙과 STDP
1949년 도널드 헵(Donald Hebb)이 이렇게 말했어.

"Cells that fire together, wire together."
(함께 발화하는 세포는 함께 연결된다)

이후 실험으로 더 정교한 규칙이 밝혀졌는데, 그게 STDP(Spike-Timing-Dependent Plasticity)야.

규칙은 놀랍도록 간단해.

👉 A 뉴런이 터지고 몇 밀리초 뒤에 B 뉴런이 터지면 → "A가 B를 유발했군!" → 연결 강화(LTP)
👉 반대로 B가 먼저 터지고 A가 나중에 터지면 → "무관하네" → 연결 약화(LTD)

여기서 핵심은 이거야.
STDP는 완전히 국소적(local)이야. 두 뉴런의 타이밍만 보면 돼.
"전체 네트워크의 오차"라는 개념 자체가 필요 없어.

3-2. 역전파는 생물학적으로 불가능한가?

신경과학자들은 오랫동안 "뇌는 역전파를 안 쓴다"고 주장해왔어. 이유는 세 가지.

① 가중치 수송 문제
역전파는 역방향 경로가 순방향 가중치를 정확히 알아야 하는데, 생물학적 시냅스는 단방향이야. 뉴런 A가 "내가 B에게 준 가중치가 0.73이야"를 B에게서 되받을 방법이 없어.

② 시간 문제
역전파는 순방향이 다 끝나고 나서 역방향을 해야 해. 이 사이에 활성값을 전부 저장해둬야 하지. 뇌는 계속 실시간으로 돌아가는데 언제 멈추고 역산을 하겠어?

③ 국소성 문제
실제 시냅스는 자기 주변 화학 신호만 감지할 수 있어. 저 멀리 출력층의 오차를 알 방법이 없어.

그런데! 2020년 딥마인드와 옥스퍼드 연구진이 Nature Reviews Neuroscience에 흥미로운 논문을 냈어.
「Backpropagation and the brain」이라는 논문인데, 요지는 이래.

"뇌가 역전파와 똑같은 알고리즘을 쓰진 않지만,
NGRAD(활성 차이로 그래디언트를 근사하는 방식) 같은 메커니즘으로
역전파와 기능적으로 유사한 학습을 할 가능성이 있다."

즉, "정확히 같진 않지만 비슷한 목적지를 향한 다른 길"일 수 있다는 거야.
이 분야는 지금도 활발한 논쟁 중이고, Feedback Alignment, Predictive Coding, Equilibrium Propagation, Forward-Forward 같은 대안 알고리즘들이 쏟아지고 있어.

특히 2022년 제프리 힌턴이 발표한 Forward-Forward 알고리즘은 역전파를 아예 버리고
"긍정 데이터로 한 번, 부정 데이터로 한 번" 두 번의 순방향만으로 학습하는 방식이야.
생물학적 타당성을 훨씬 높인 시도지.

3-3. 그 외 차이점 총정리

👁️ 4부. CNN이 진짜 고양이 뇌를 베낀 이야기

자, 이제 "진짜로 뇌를 베낀" 대표 사례를 보자. 이건 정말 로맨틱한 과학사야.

4-1. 1959년, 고양이와 슬라이드 프로젝터

하버드의 데이비드 허블(David Hubel)과 토르스텐 비셀(Torsten Wiesel)이
고양이의 시각피질(V1)에 미세전극을 꽂고 실험을 했어.

처음엔 점이나 원을 보여줬는데 뉴런이 반응을 안 했어. 실패의 연속이었지.
그러다 우연히 슬라이드를 바꾸는 순간, 슬라이드 가장자리의 직선 그림자가 화면을 스쳤어.

그 순간 뉴런이 미친 듯이 발화했어.

이 우연한 발견으로 두 사람은 1981년 노벨 생리의학상을 받게 돼. 밝혀진 사실은 이래.

단순세포(Simple Cell)
특정 각도의 직선에만 반응. 45도 선에 반응하는 뉴런, 90도에 반응하는 뉴런이 따로 있음.
좁은 영역만 담당 → 이게 바로 수용영역(Receptive Field).

복합세포(Complex Cell)
단순세포들의 출력을 모아서, 위치가 좀 달라져도 같은 각도면 반응.
즉 위치 불변성(translation invariance)을 만들어냄.

4-2. 그대로 코드가 되다

1980년 일본의 후쿠시마 쿠니히코가 이 구조를 그대로 모델링해서 네오코그니트론(Neocognitron)을 만들었어.
단순세포 → S층, 복합세포 → C층. 진짜 1:1 매핑이야.

그리고 1989년 얀 르쿤(Yann LeCun)이 여기에 역전파를 붙여서 LeNet을 만들었고,
2012년 AlexNet이 ImageNet을 박살 내면서 딥러닝 시대가 열렸어.

4-3. 소름 돋는 검증 결과

여기서 진짜 놀라운 이야기.

학습이 끝난 CNN의 첫 번째 합성곱 층의 필터들을 시각화해보면 뭐가 나올까?

다양한 각도의 선분(edge)과 색상 대비 패턴.

아무도 "선을 검출해라"고 안 가르쳤는데, 데이터만 보고 학습했더니
고양이 V1 단순세포와 거의 똑같은 필터가 자동으로 생겨난 거야.

더 나아가 MIT의 제임스 디카를로(James DiCarlo) 연구팀은
CNN의 중간층 활성값과 원숭이 IT 피질의 실제 뉴런 반응을 비교했는데,
상당히 높은 상관관계가 나왔어. 심지어 CNN으로 원숭이 뉴런의 반응을 예측할 수도 있었지.

이건 수렴 진화(convergent evolution)의 공학판이라고 볼 수 있어.
박쥐와 돌고래가 각자 독립적으로 초음파를 발명한 것처럼,
"시각 정보를 효율적으로 처리하라"는 문제를 풀면 자연과 기계가 비슷한 답에 도달한다는 거야.

🔬 5부. 사실 뉴런은 생각보다 훨씬 똑똑하다

여기서 반전을 하나 던질게.

지금까지 "인공 뉴런 = 뉴런의 단순화 버전"이라고 설명했는데,
사실 그 '단순화'의 정도가 상상 이상이야.

5-1. 뉴런 하나 = 심층 신경망 하나?

2021년 Neuron지에 실린 히브리대학교 연구진(Beniaguev, Segev, London)의 논문은 충격적이었어.

이들은 대뇌피질 추체세포(pyramidal neuron) 하나의 입출력 관계를
인공신경망으로 얼마나 정확히 흉내 낼 수 있는지 실험했어.

결과는?

뉴런 딱 한 개의 행동을 재현하려면
5~8층짜리 심층 합성곱 신경망이 필요했다.

즉, 우리가 "뉴런 1개 = 노드 1개"라고 매핑해온 건 어마어마한 축소였던 거야.
실제 뉴런 하나가 이미 작은 딥러닝 모델급 계산을 하고 있다는 뜻이지.

5-2. 수상돌기는 그냥 전선이 아니다

왜 그렇게 복잡할까? 핵심은 수상돌기의 능동적 계산이야.

예전엔 수상돌기가 그냥 수동적으로 신호를 세포체로 전달한다고 생각했어.
그런데 아니었어.

👉 수상돌기 스파이크 : 수상돌기 가지 하나하나가 자체적으로 국소 스파이크를 일으킬 수 있어.
👉 공간적 구획화 : 같은 뉴런이라도 어느 가지에 입력이 들어왔는지에 따라 결과가 달라져.
👉 비선형 통합 : 근처 시냅스 두 개가 동시에 활성화되면 단순 합보다 훨씬 큰 반응이 나와.

2020년 Science에 발표된 논문에서는 인간 대뇌피질 2/3층 뉴런의 수상돌기가
단일 뉴런 수준에서 XOR 연산을 수행할 수 있다는 걸 보여줬어.

이게 왜 대단하냐고? XOR은 1969년 민스키가 "단일 퍼셉트론으로는 절대 못 푼다"고 증명해서 AI 겨울을 불러온 바로 그 문제거든.
인공 뉴런은 못 푸는 걸 진짜 뉴런 하나는 풀어버린 거야. 자존심 상하지?

5-3. 그리고 아무도 모델링 안 하는 것들

추가로 인공신경망이 완전히 무시하고 있는 요소들 리스트:

· 글리아 세포(Glia)
뇌에는 뉴런만 있는 게 아니야. 성상교세포(astrocyte) 같은 글리아 세포가 뉴런과 비슷한 수만큼 있어.
최근 연구에선 이들이 단순 지원 역할이 아니라 실제 정보 처리에 참여한다는 증거가 계속 나오고 있어.

· 신경조절물질(Neuromodulator)
도파민, 세로토닌, 아세틸콜린, 노르에피네프린.
이들은 특정 시냅스가 아니라 넓은 영역 전체의 학습률과 감도를 한꺼번에 바꿔.
딥러닝으로 치면 학습 중에 실시간으로 하이퍼파라미터가 바뀌는 셈.

· 신경 발생과 가지치기
뇌는 새 연결을 만들고 안 쓰는 연결을 없애. 특히 청소년기에 대규모 시냅스 가지치기(pruning)가 일어나.
딥러닝의 pruning 기법이 여기서 영감을 받긴 했지만, 뇌처럼 상시적이진 않아.

· 진동과 동기화
알파파, 감마파 같은 뇌파. 뉴런 집단이 리듬을 맞춰 발화하면서 정보를 묶어내는 메커니즘.
현재 표준 딥러닝에는 이런 개념 자체가 없어.

🚀 6부. 미래기술 — 다시 뇌를 향해 돌아가는 중

여기가 이 글의 하이라이트야. 미래기술/실험개발 카테고리답게, 지금 실제로 개발되고 있는 것들을 보자.

6-1. 스파이킹 신경망(SNN) — 3세대 신경망

1세대: 퍼셉트론 (이진 출력)
2세대: 현재의 딥러닝 (연속값 출력)
3세대: 스파이킹 신경망 (시간 축을 가진 스파이크 출력)

SNN의 핵심은 "언제 터졌는가"를 정보로 쓴다는 거야.
가장 널리 쓰이는 모델이 LIF(Leaky Integrate-and-Fire) 뉴런이야.

# LIF 뉴런 시뮬레이션 (핵심 로직)
V_rest    = -70.0   # 안정막전위 (mV)
V_thresh  = -55.0   # 발화 문턱값
V_reset   = -75.0   # 발화 후 리셋값
tau       = 10.0    # 막 시정수 (ms)
dt        = 1.0     # 시간 간격 (ms)

V = V_rest
spikes = []

for t, I in enumerate(input_current):
    # 1) 막전위 업데이트 (누설 + 입력)
    dV = (-(V - V_rest) + I) / tau
    V += dV * dt

    # 2) 문턱값 초과 시 발화
    if V >= V_thresh:
        spikes.append(t)   # 스파이크 기록!
        V = V_reset        # 리셋 (불응기)

보이지? 일반 딥러닝 뉴런과 결정적으로 다른 점 두 가지.

① 상태(V)를 기억한다 — 시간에 따라 값이 누적되고 새어나가.
② 이벤트 기반이다 — 스파이크가 없으면 계산도 없어. 즉 대부분의 시간 동안 에너지를 안 쓴다.

이게 SNN의 최대 강점이야. 희소성(sparsity)에서 나오는 초저전력.

6-2. 뉴로모픽 하드웨어 — 실제 칩들

여기서 핵심 개념 하나 짚고 갈게. 폰 노이만 병목(von Neumann bottleneck)이야.

기존 컴퓨터는 CPU와 메모리가 분리돼 있어서, 데이터를 계속 왔다 갔다 옮겨야 해.
이 이동에 소모되는 에너지가 실제 연산 에너지보다 훨씬 커.

반면 뇌는? 시냅스가 곧 메모리이자 연산 유닛이야. 이동이 없어.
뉴로모픽 칩은 이 in-memory computing 철학을 하드웨어로 구현한 거지.

6-3. 개발자가 지금 당장 만져볼 수 있는 것들

"이론은 알겠는데 나도 해볼 수 있어?" 당연하지.

· snnTorch — PyTorch 기반 SNN 라이브러리. 가장 진입장벽이 낮아.
· Norse — PyTorch 확장, 생물학적 뉴런 모델 다양하게 지원.
· BindsNET — STDP 등 생물학적 학습 규칙 실험에 특화.
· Brian2 — 신경과학 연구용 정밀 시뮬레이터. 수식을 직접 쓸 수 있음.
· NEST — 대규모 네트워크 시뮬레이션용.
· Lava — 인텔의 Loihi용 오픈소스 프레임워크.

# snnTorch로 스파이킹 레이어 만들기
import torch, torch.nn as nn
import snntorch as snn

class SpikingNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1  = nn.Linear(784, 256)
        self.lif1 = snn.Leaky(beta=0.95)   # 누설 계수
        self.fc2  = nn.Linear(256, 10)
        self.lif2 = snn.Leaky(beta=0.95)

    def forward(self, x, steps=25):
        mem1 = self.lif1.init_leaky()
        mem2 = self.lif2.init_leaky()
        out_spikes = []

        for t in range(steps):          # 시간을 따라 반복!
            cur1 = self.fc1(x)
            spk1, mem1 = self.lif1(cur1, mem1)
            cur2 = self.fc2(spk1)
            spk2, mem2 = self.lif2(cur2, mem2)
            out_spikes.append(spk2)

        return torch.stack(out_spikes)

일반 CNN 코드와 비교해서 가장 눈에 띄는 차이는 for t in range(steps)야.
시간이라는 축이 모델 안에 명시적으로 들어와 있어. 이게 3세대 신경망의 정체성이지.

참고로 이런 실험적 기술들은 혼자 파기엔 진입장벽이 꽤 높아.
재능넷 같은 재능 공유 플랫폼에서 신경과학 배경이 있는 ML 엔지니어나
임베디드 AI 전문가의 멘토링을 받아보면 삽질 시간을 크게 줄일 수 있어.
특히 뉴로모픽은 하드웨어 셋업 노하우가 문서에 안 적혀 있는 경우가 많거든.

6-4. 이벤트 카메라 — 망막을 베낀 센서

SNN 이야기에서 빠질 수 없는 게 DVS(Dynamic Vision Sensor), 일명 이벤트 카메라야.

일반 카메라는 초당 30번, 화면 전체를 통째로 찍어. 안 변한 부분도 매번 찍지. 낭비잖아.
이벤트 카메라는 각 픽셀이 독립적으로 "밝기가 변했을 때만" 신호를 보내.

이건 정확히 인간 망막의 작동 방식이야. 우리 눈도 변화에 반응하지, 정지 영상을 프레임으로 찍지 않아.

결과적으로:
👉 시간 해상도 마이크로초 단위 (초고속 물체도 블러 없이 포착)
👉 다이내믹 레인지 120dB 이상 (역광에서도 잘 보임)
👉 소비 전력 수십 mW

자율주행, 드론, 로봇 분야에서 이벤트 카메라 + SNN 조합이 뜨거운 이유야.

🧩 7부. 트랜스포머와 어텐션 — 이것도 뇌에 있을까?

지금 AI 판을 지배하는 건 CNN이 아니라 트랜스포머야. 이건 뇌랑 무슨 관계일까?

7-1. 어텐션 = 선택적 주의?

이름부터 'Attention(주의)'이잖아. 그런데 이게 인지심리학의 주의(attention)와 같은 걸까?

닮은 점
· 둘 다 수많은 정보 중 중요한 것에 자원을 집중한다는 개념.
· 뇌의 선택적 주의도 시상(thalamus)과 전전두엽이 관여해서 특정 감각 입력의 신호를 증폭시켜.
· 칵테일 파티 효과 — 시끄러운 곳에서 내 이름만 들리는 현상 — 과 유사한 가중 선택 구조.

다른 점
· 트랜스포머 어텐션은 모든 토큰이 모든 토큰을 동시에 참조해. 이걸 O(n²)라고 부르지.
· 뇌는 절대 그렇게 안 해. 그런 전역 연결은 에너지적으로 불가능해.
· 트랜스포머는 순차 처리를 버리고 병렬화했지만, 뇌는 본질적으로 순차적·재귀적이야.

결론적으로 어텐션은 생물학적 모방이라기보단 수학적·공학적 발명에 가까워.
이름만 빌려온 거지, 메커니즘은 독자 노선이야.

7-2. 그런데 흥미로운 연구도 있어

2020년 NeurIPS에서 발표된 연구에서는
트랜스포머 어텐션이 해마(hippocampus)의 격자세포·장소세포 모델과
수학적으로 유사한 계산을 수행한다는 주장이 나왔어.

또 트랜스포머를 학습시켰더니 내부에 공간 위치를 표상하는 구조가 자발적으로 생겨났다는 보고도 있고.

이건 4부의 CNN 사례와 같은 맥락이야.
"효율적인 정보 처리 문제를 풀면 비슷한 해답에 수렴한다."

🔮 8부. 앞으로 뭐가 올까 — 실험개발 최전선

8-1. 생물학적 타당성을 가진 학습 알고리즘

역전파를 대체하려는 시도들이 계속 나오고 있어.

· Feedback Alignment (2016)
놀랍게도 역방향 가중치를 무작위로 고정해도 학습이 된다는 발견. 가중치 수송 문제를 우회.

· Predictive Coding
뇌가 끊임없이 다음 입력을 예측하고 오차만 위로 올려보낸다는 이론.
계층 간 국소 연산만으로 역전파와 유사한 결과를 낼 수 있다는 게 증명됐어.

· Equilibrium Propagation (2017)
에너지 기반 모델에서 평형 상태의 변화만으로 그래디언트를 얻는 방식. 국소적이야.

· Forward-Forward (2022, 힌턴)
순방향 두 번으로 학습. 아날로그 하드웨어와의 궁합이 특히 좋아.

8-2. 지속 학습(Continual Learning)

현재 AI의 치명적 약점, 파국적 망각.
A를 배운 모델에게 B를 가르치면 A를 까맣게 잊어버려.

뇌는 안 그래. 자전거 타는 법 배우고 수영 배워도 자전거를 안 잊지.

뇌의 비결로 지목되는 것들:
👉 시냅스 강화의 계층성 — 중요한 시냅스는 잘 안 변하게 잠금.
👉 해마-신피질 상보 학습 — 해마가 빠르게 기억하고, 수면 중 신피질로 천천히 이전.
👉 재생(replay) — 자는 동안 낮의 경험을 재생하며 통합.

이걸 본떠 만든 알고리즘이 EWC(Elastic Weight Consolidation), Experience Replay 같은 기법들이야.
특히 Experience Replay는 강화학습의 필수 요소가 됐지. 뇌의 수면 중 기억 재생에서 직접 영감을 받은 것.

8-3. 오가노이드 인텔리전스(Organoid Intelligence)

이건 좀 SF 같은 이야기인데, 실제로 진행 중이야.

2022년 호주 Cortical Labs의 DishBrain 프로젝트가 화제였어.
배양 접시에서 키운 약 80만 개의 실제 인간·마우스 뉴런에 전극을 연결하고,
Pong 게임을 하게 만든 거야.

결과? 5분 만에 게임 실력이 향상됐어.
실리콘 AI보다 학습 속도가 훨씬 빨랐지.

2023년에는 존스홉킨스 연구진이 Frontiers in Science에 「Organoid intelligence (OI)」라는 로드맵 논문을 발표하면서
뇌 오가노이드를 이용한 생체 컴퓨팅이라는 분야를 공식 제안했어.

물론 윤리적 논쟁이 엄청나. "이 뉴런 덩어리는 의식이 있는가?"라는 질문이 따라붙으니까.
하지만 에너지 효율이라는 관점에서 보면 무시할 수 없는 방향이야.

8-4. 뇌-컴퓨터 인터페이스와의 접점

Neuralink, Synchron, Blackrock Neurotech 같은 회사들이 BCI를 개발 중이잖아.
여기서도 신경망 지식이 핵심이야.

뇌에서 나오는 스파이크 신호를 읽어서 의도를 해독하려면,
스파이크 정렬(spike sorting) → 디코딩 모델 → 실시간 제어 파이프라인이 필요해.
이 디코더에 쓰이는 게 바로 딥러닝이지.

재밌는 건, 진짜 뉴런의 출력을 인공 뉴런이 해석하는 구조라는 점이야.
두 신경망이 만나는 지점이지.

📊 9부. 최종 정리 — 유사성 점수표

자, 여태까지 본 걸 한 장으로 정리해보자.

결론 : 그래서 닮았다는 거야 아니라는 거야?

내 답은 이거야.

"설계 철학은 닮았고, 구현 디테일은 다르며,
결과물은 예상 밖으로 비슷하게 수렴한다."

세 층위로 나눠서 보면 명확해져.

1층 - 개념 수준 : 매우 닮음 ⭐⭐⭐⭐⭐
"많은 단순 유닛이 가중 연결로 모여 복잡한 기능을 낸다"는 원리는 동일해.

2층 - 메커니즘 수준 : 많이 다름 ⭐⭐
학습 방식, 신호 형태, 뉴런 복잡도 — 거의 다른 세계야.

3층 - 결과 표상 수준 : 놀랍게 닮음 ⭐⭐⭐⭐
CNN 필터가 V1을 닮고, 중간층이 IT 피질 반응을 예측하는 현상.
다른 경로로 출발해서 비슷한 곳에 도착한 거지.

이게 왜 중요하냐면, AI 연구가 역으로 신경과학에 기여하기 시작했다는 뜻이거든.
"AI 모델이 이렇게 작동하니까, 뇌도 이렇게 작동하는 거 아닐까?"라는 가설 생성이 가능해진 거야.
이걸 NeuroAI라는 신생 분야로 부르고 있어.

🎁 마무리 — 개발자를 위한 실전 로드맵

여기까지 읽었으면 이제 뭘 해야 할까? 단계별로 던져줄게.

STEP 1 — 기초 다지기
NumPy로 퍼셉트론 하나 직접 구현해봐. 라이브러리 없이.
가중합 → 활성화 → 오차 → 가중치 업데이트. 이 사이클을 손으로 한 번 짜보면 감이 완전히 달라져.

STEP 2 — 시각화로 확인하기
PyTorch로 간단한 CNN 학습시킨 뒤, conv1.weight를 시각화해봐.
정말로 선분 검출기가 생겼는지 두 눈으로 확인하는 순간이 짜릿해.

STEP 3 — SNN 입문
snnTorch 튜토리얼로 MNIST를 스파이킹 네트워크로 풀어봐.
정확도는 일반 CNN보다 조금 낮게 나올 거야. 근데 그게 포인트가 아니야.
연산 횟수(스파이크 수)를 세보면 왜 저전력인지 체감할 수 있어.

STEP 4 — 생물학적 학습 실험
BindsNET으로 STDP 기반 비지도 학습을 돌려봐.
라벨 없이도 패턴이 분류되는 걸 보면 "아 이래서 뇌가 라벨 없이 배우는구나" 싶어질 거야.

STEP 5 — 하드웨어로
Intel Lava 프레임워크를 열어보거나, 이벤트 카메라 공개 데이터셋(DVS128 Gesture, N-MNIST)으로 실험해봐.

추천 읽을거리
· Hubel & Wiesel의 원논문 (1962) — 과학 글쓰기의 교과서
· Lillicrap et al., 「Backpropagation and the brain」 (2020)
· Beniaguev et al., 「Single cortical neurons as deep artificial neural networks」 (2021)
· Maass, 「Networks of spiking neurons: the third generation」 (1997)