뇌-컴퓨터 인터페이스(BCI, Brain-Computer Interface)를 기반으로 한 아바타 제어 시스템은 인간의 뇌에서 발생하는 전기적 신호를 실시간으로 해석해서 디지털 공간의 아바타 혹은 로봇 신체를 제어하는 기술이야.

이게 단순한 게임 컨트롤러 얘기가 아님. 척수 손상 환자가 다시 걷고, 루게릭병 환자가 다시 말하고, 심지어 원격지의 로봇 몸을 빌려 세상과 상호작용하는 — 그런 차원의 이야기임 🌍

우리 뇌는 약 860억 개의 뉴런으로 이루어져 있고, 이 뉴런들이 서로 신호를 주고받을 때 미세한 전기적 활동이 발생해. 이걸 뇌파(EEG, Electroencephalography)라고 부르는데, 주파수 대역에 따라 다른 의미를 가짐.

BCI 시스템에서 가장 많이 활용되는 신호는 운동 상상(Motor Imagery)이야. 실제로 손을 움직이지 않아도 "손을 움직이겠다"고 상상하면 뇌의 운동 피질에서 특정 패턴의 신호가 발생하거든. 이걸 잡아내는 게 핵심임 🎯

뇌 신호를 읽는 방법은 크게 비침습적이냐 침습적이냐로 나뉨. 이게 진짜 중요한 분기점임ㅋㅋ

자, 신호를 수집했다고 끝이 아님. 이 신호가 "왼손 들어올려"인지 "오른발 움직여"인지 어떻게 알아? 여기서 머신러닝/딥러닝이 등장함ㅋㅋ

자, 이제 진짜 재밌는 부분임ㅋㅋ 뇌 신호를 해석했으면 그걸로 아바타를 어떻게 움직이냐는 거잖아?

프로그램 개발 카테고리니까 실제 구현 얘기도 해야지ㅋㅋ 오픈소스 생태계가 꽤 잘 갖춰져 있어서 진입장벽이 생각보다 낮음.

import mne
import numpy as np
from sklearn.pipeline import Pipeline
from sklearn.svm import SVC
from mne.decoding import CSP

# 1. 데이터 로드 (예: BCI Competition IV Dataset 2a)
raw = mne.io.read_raw_gdf('data.gdf', preload=True)

# 2. 전처리
raw.filter(8., 30.)  # 뮤/베타 대역 필터링
events, event_id = mne.events_from_annotations(raw)

# 3. 에포킹 (자극 후 0.5~2.5초 구간)
epochs = mne.Epochs(raw, events, event_id,
                    tmin=0.5, tmax=2.5,
                    baseline=None, preload=True)

# 4. 훈련/테스트 분리
X = epochs.get_data()  # (n_trials, n_channels, n_times)
y = epochs.events[:, -1]

# 5. CSP + SVM 파이프라인
pipeline = Pipeline([
    ('csp', CSP(n_components=4)),
    ('svm', SVC(kernel='rbf', C=1.0))
])

# 6. 교차 검증
from sklearn.model_selection import cross_val_score
scores = cross_val_score(pipeline, X, y, cv=5)
print(f"평균 정확도: {scores.mean():.2%}")

# Python 쪽 (BCI 서버)
import socket
import json

def send_command(command, confidence):
    """분류 결과를 Unity로 전송"""
    data = {
        "command": command,      # "left", "right", "forward", "stop"
        "confidence": confidence  # 0.0 ~ 1.0
    }
    sock.sendto(json.dumps(data).encode(), ('127.0.0.1', 5005))

# 실시간 루프
while True:
    epoch = get_latest_epoch()          # 최신 EEG 에포크 가져오기
    features = csp.transform([epoch])   # CSP 특징 추출
    pred = svm.predict(features)[0]     # 분류
    prob = svm.predict_proba(features)[0].max()
    
    send_command(pred, prob)

// Unity C# 쪽 (아바타 제어)
using UnityEngine;
using System.Net;
using System.Net.Sockets;

public class BCIAvatarController : MonoBehaviour {
    UdpClient udpClient;
    
    void Update() {
        string data = ReceiveData();
        if (data != null) {
            var cmd = JsonUtility.FromJson<BCICommand>(data);
            
            if (cmd.confidence > 0.7f) {  // 신뢰도 임계값
                switch (cmd.command) {
                    case "left":  MoveLeft(); break;
                    case "right": MoveRight(); break;
                    case "forward": MoveForward(); break;
                }
            }
        }
    }
}

물론 장밋빛 미래만 있는 건 아님ㅋㅋ 솔직하게 현실적인 문제들도 짚어봐야지.