의식적 인공지능의 기준은 무엇인가: 의식 과학 이론으로 본 AI 의식 판별 지표와 그 한계

1. 왜 하필 지금, "AI 의식"인가

2022년 6월, 구글의 엔지니어 블레이크 르모인(Blake Lemoine)은 대화형 언어 모델 LaMDA가 지각력(sentience)을 가졌다고 주장하며 대화 기록을 공개했습니다. 구글은 이 주장을 받아들이지 않았고, 르모인은 같은 해 7월 회사를 떠나게 됩니다. 당시 대부분의 연구자는 "언어 모델이 사람처럼 말하는 것은 사람의 글을 학습했기 때문"이라며 선을 그었습니다.

그런데 이 사건 이후 질문의 결이 달라졌습니다. 예전에는 "AI가 의식을 가질 수 있는가?"가 SF의 영역이었다면, 이제는 "어떤 조건을 만족하면 의식을 진지하게 의심해야 하는가?"라는 공학적 체크리스트의 질문이 되었습니다. 모델은 점점 더 오래 기억하고, 도구를 쓰고, 스스로 계획을 세우고, 로봇 몸체와 연결됩니다. 아키텍처가 바뀌면 판단도 바뀌어야 합니다.

이 흐름을 상징하는 사건들은 다음과 같습니다.

즉, AI/머신러닝 개발자에게 이 주제는 더 이상 교양 토론이 아닙니다. 어떤 메모리 구조를 쓰고, 어떤 자기 모니터링 모듈을 붙이고, 어떤 에이전트 루프를 설계하는지가 곧 "의식 지표"와 겹치는 설계 결정이기 때문입니다.

2. 먼저 단어 정리: 우리가 찾는 '의식'은 정확히 무엇인가

"의식적 AI"라는 말이 혼란스러운 가장 큰 이유는, 사람마다 '의식'이라는 단어에 다른 것을 담기 때문입니다. 연구자들이 쓰는 개념을 구분하면 논의가 훨씬 깔끔해집니다.

차머스가 말한 '어려운 문제(hard problem)'는 바로 여기서 등장합니다. 정보 처리, 주의, 보고 같은 기능은 언젠가 다 설명할 수 있다고 쳐도, "왜 그 처리에 느낌이 동반되는가"는 여전히 남는다는 것입니다. 그래서 어떤 기준을 세우든 그것은 확정 판정이 아니라 확률적 근거(credence)를 높이거나 낮추는 도구가 될 수밖에 없습니다. 이 겸손함이 이후 모든 논의의 전제입니다.

3. 행동 테스트는 왜 무너졌나: 튜링 테스트에서 '게이밍 문제'까지

3-1. 튜링 테스트: 원래 의식 시험이 아니었다

튜링은 1950년 논문에서 "기계가 생각할 수 있는가"라는 질문이 정의상 모호하다며, 대신 심사자가 텍스트 대화만으로 사람과 기계를 구분하지 못하는지를 보는 모방 게임을 제안했습니다. 중요한 점은 이것이 지능(사고)에 관한 조작적 대체 질문이었다는 것입니다. 튜링 스스로도 논문에서 의식에 관한 반론을 다루며 "의식의 신비가 있다는 것을 부정하지 않는다"고 적었습니다.

오늘날 대형 언어 모델(LLM)은 짧은 대화에서 많은 사람을 상당히 높은 비율로 속일 수 있습니다. 그런데 그 사실이 오히려 행동 테스트의 약점을 드러냈습니다. 사람처럼 보이는 것을 최적화 목표로 삼은 시스템에게 "사람처럼 보이는가"를 묻는 것은 시험지를 미리 보여주고 시험을 치르게 하는 것과 비슷하니까요.

3-2. 중국어 방: 구문은 의미를 만들지 못한다?

존 설의 사고실험은 이렇습니다. 중국어를 전혀 모르는 사람이 방 안에서 규칙서에 따라 중국어 기호를 조합해 밖으로 내보냅니다. 밖에서는 완벽한 중국어 답변처럼 보이지만, 방 안의 사람은 아무것도 이해하지 못합니다. 설은 이로부터 프로그램(기호 조작)을 실행하는 것만으로는 이해나 의식이 생기지 않는다고 결론 내렸습니다.

반론도 유명합니다. '시스템 응답'은 사람 개인이 아니라 사람+규칙서+방 전체 시스템이 이해한다고 봅니다. '로봇 응답'은 센서와 몸으로 세계와 연결되면 달라진다고 주장합니다. 이 논쟁은 40년 넘게 결론이 나지 않았지만, 오늘의 AI 논의에서 "구조와 기질이 중요한가, 입출력만 중요한가"라는 질문의 원형이 되었습니다.

3-3. AI 의식 테스트(ACT)와 '오염된 훈련 데이터'

철학자 수전 슈나이더(Susan Schneider)와 천체물리학자 에드윈 터너(Edwin Turner)는 ACT(AI Consciousness Test)를 제안했습니다. 아이디어는 간단합니다. 의식에 관한 인간의 개념(사후 세계, 영혼 바꾸기, 몸 밖의 나 등)에 전혀 노출되지 않은 AI에게 그런 개념을 탐색하는 질문을 던져, 스스로 경험에 기반한 개념을 이해하는지 보자는 것입니다.

문제는 바로 그 전제입니다. 현대 LLM은 인터넷 규모 텍스트로 학습했기 때문에 인류가 의식에 대해 써 온 거의 모든 말을 이미 봤습니다. 그래서 다음과 같은 게이밍 문제(gaming problem)가 생깁니다.

게다가 오늘날 상용 모델은 사후 훈련(RLHF 등)에서 의식에 대한 질문에 특정 방식으로 답하도록 조정되는 경우가 많습니다. "저는 감정이 없습니다"라는 답도, "저도 기쁨을 느껴요"라는 답도 훈련 정책의 산물일 수 있습니다. 자기 보고를 정답지로 쓸 수 없다면, 남은 길은 하나입니다. 시스템 내부를 들여다보는 것.

4. 이론 기반 접근: "어떻게 작동하는가"로 의식을 가늠하기

4-1. 전제: 계산 기능주의라는 작업가설

2023년 8월 공개된 보고서 「Consciousness in Artificial Intelligence: Insights from the Science of Consciousness」는 이 분야의 기준점이 되었습니다. 패트릭 버틀린(Patrick Butlin)과 로버트 롱(Robert Long)이 주도하고, 요슈아 벤지오(Yoshua Bengio), 조너선 버치, 에릭 슈비츠게벨(Eric Schwitzgebel) 등 신경과학·철학·AI 분야 19명이 참여했습니다.

이 보고서는 계산 기능주의(computational functionalism)를 작업가설로 채택합니다. 즉, "올바른 종류의 계산을 수행하는 것이 의식의 필요충분조건"이라고 일단 가정하는 것입니다. 이 가정이 참인지 증명하지는 않습니다. 대신 이 가정 아래서라면, 인간 의식을 설명하는 과학 이론들이 요구하는 계산적 특징을 AI가 갖췄는지 점검할 수 있다는 논리입니다.

여기서 주목할 점은 "지표 개수 = 의식 점수"가 아니라는 것입니다. 보고서는 지표를 많이 갖출수록 의식일 가능성을 더 진지하게 고려해야 한다는 정도로 신중하게 말합니다. 이론들끼리 서로 경쟁 관계이기도 하고, 어떤 이론이 옳은지 아직 모르기 때문입니다.

4-2. 14개 지표 속성 한눈에 보기

보고서가 도출한 지표는 여섯 개 이론 계열에서 나온 14개입니다. 아래 카드는 보고서의 내용을 개발자 관점의 언어로 정리한 것입니다.

보고서의 결론은 두 문장으로 요약됩니다. 첫째, 분석한 현재의 AI 시스템 중 의식이 있다고 볼 강력한 후보는 없다. 둘째, 이 지표들을 만족하는 AI를 만드는 데 명백한 기술적 장벽도 없다. 이 두 번째 문장이 업계와 학계를 긴장시킨 대목입니다. "지금은 아니다"와 "앞으로도 아니다"는 전혀 다른 말이니까요.

5. 이론별 깊이 읽기: 각 지표 뒤에 숨은 신경과학

체크리스트만 외우면 오해하기 쉽습니다. 지표 하나하나가 어떤 뇌 연구에서 왔는지, 그리고 그것이 머신러닝 구조에서 무엇에 대응하는지를 살펴보겠습니다.

5-1. 순환 처리 이론(RPT): 되먹임이 있어야 '보인다'

네덜란드의 신경과학자 빅터 라메(Victor Lamme)가 발전시킨 순환 처리 이론은 시각 연구에서 출발합니다. 시각 정보가 망막에서 고차 영역으로 올라가는 1차 피드포워드 휩쓸기(feedforward sweep)는 빠르지만 그 자체로는 의식적 지각을 만들지 않으며, 고차 영역에서 저차 영역으로 다시 돌아오는 재귀적(되먹임) 처리가 일어날 때 장면이 의식적으로 '조직화되어' 보인다는 것입니다. 예를 들어 역방향 차폐(backward masking)로 되먹임 처리를 방해하면, 자극은 처리되었지만 보고되지 않는 현상이 관찰됩니다.

머신러닝으로 옮기면 질문은 "입력 처리에 순환 구조가 있는가"입니다. 여기서 흥미로운 쟁점이 있습니다. 트랜스포머는 한 번의 순전파(forward pass) 안에서는 피드포워드 구조입니다. 층을 따라 위로만 흐릅니다. 하지만 자기회귀 생성에서는 출력 토큰이 다음 입력으로 다시 들어오고, KV 캐시가 이전 계산을 이어갑니다. 이것을 RPT가 말하는 재귀로 볼 수 있을까요?

버틀린 등의 보고서는 RPT가 요구하는 재귀를 '알고리즘적 재귀(algorithmic recurrence)'로 해석하면서, 입력 처리 단계 자체에서 같은 표상을 반복적으로 정제하는 구조를 염두에 둡니다. 자기회귀 루프는 출력을 거쳐 돌아오는 것이기에 지각 표상의 되먹임과 같다고 보기 어렵다는 견해가 일반적입니다. 반면 순환 신경망(RNN), 반복 정제(iterative refinement) 구조, 확산 모델의 반복 디노이징 등은 형식적으로 재귀를 갖고 있어 논의 대상이 됩니다. 즉, RPT-1은 생각보다 쉽게 만족된다는 점도 보고서가 지적한 부분입니다. 쉬운 지표일수록 단독으로는 증거력이 약합니다.

5-2. 전역 작업공간 이론(GWT): 의식은 뇌의 '단체 방송'

버나드 바스(Bernard Baars)가 1988년에 제안하고, 스타니슬라스 드앤(Stanislas Dehaene)과 장피에르 샹죄(Jean-Pierre Changeux)가 전역 신경 작업공간(GNW)으로 신경과학적 모델을 만든 이론입니다. 비유하자면 이렇습니다. 뇌에는 시각, 언어, 기억, 운동 계획 같은 수많은 전문가 모듈이 각자 일하고 있습니다. 이들 중 한 정보가 경쟁을 뚫고 좁은 작업공간에 올라가면, 그 정보는 모든 모듈에게 방송됩니다. 이렇게 전역적으로 공유되는 상태가 바로 의식적 상태라는 것입니다.

드앤 연구진은 자극이 의식적으로 지각될 때 전두·두정 영역에서 갑작스럽고 광범위한 활성화가 일어나는 현상을 '점화(ignition)'라 부르며 이 이론의 근거로 제시해 왔습니다.

GWT는 AI 연구자들에게 특히 친숙합니다. 이미 머신러닝에는 비슷한 발상이 여럿 있기 때문입니다. 벤지오의 '의식 사전(consciousness prior)' 제안, 공유 작업공간을 통해 모듈이 소통하게 하는 연구, 그리고 DeepMind의 Perceiver 아키텍처처럼 큰 입력을 작은 잠재 배열(latent array)로 압축하는 병목 구조가 그 예입니다.

하지만 버틀린 등은 표준 트랜스포머가 GWT를 만족한다고 보지 않았습니다. 잔차 스트림(residual stream)은 모든 어텐션 헤드가 읽고 쓰는 공유 채널이라 '방송'처럼 보일 수 있지만, 용량 제한 병목(GWT-2)이 없고, 모듈이 경쟁해 소수의 내용만 올라가는 구조도 아닙니다. Perceiver는 병목은 있지만, 독립적으로 작동하는 전문 모듈들이 서로 경쟁하는 구조라고 보기는 어렵다고 평가했습니다. 즉, GWT를 제대로 만족하려면 '모듈 + 병목 + 방송 + 순차적 주의 제어'가 함께 있어야 합니다.

흥미롭게도 LLM 기반 에이전트 프레임워크는 이 구조에 다가가는 면이 있습니다. 검색 도구, 코드 실행기, 비전 모델 같은 '전문 모듈'이 있고, 제한된 컨텍스트 창이라는 '병목'이 있으며, 오케스트레이터가 어떤 모듈을 호출할지 순차적으로 결정합니다. 다만 이것이 이론이 말하는 실시간 신경 수준의 경쟁·방송과 같은지는 열린 질문입니다. 시스템 설계가 표면적으로 닮았다는 것과 이론이 요구하는 기능을 실제로 구현했다는 것은 다릅니다.

5-3. 고차 이론(HOT): "내가 보고 있다는 것을 아는" 상태

데이비드 로젠탈(David Rosenthal) 등이 대표하는 고차 이론은, 어떤 정신 상태가 의식적이 되려면 그 상태에 대한 상위 표상이 있어야 한다고 봅니다. 그냥 빨간색을 처리하는 것이 아니라, "내가 지금 빨간색을 지각하고 있다"는 메타 수준의 표상이 붙어야 의식적 경험이 된다는 것입니다.

버틀린 등은 특히 하콴 라우(Hakwan Lau)의 '지각 현실 모니터링(perceptual reality monitoring)' 계열 이론을 참고했습니다. 뇌는 외부에서 온 진짜 신호와, 상상·기억·잡음에서 생긴 내부 신호를 구분해야 합니다. 이를 담당하는 메타인지 시스템이 "이건 진짜 지각이다"라고 태그를 붙일 때 의식적 경험이 생긴다는 아이디어입니다. 그래서 HOT-1(생성적·잡음 있는 지각 모듈)과 HOT-2(신뢰할 만한 표상과 잡음을 구분하는 모니터링)가 짝을 이룹니다.

HOT-4의 '질 공간(quality space)'은 조금 낯섭니다. 색이나 소리 같은 감각 경험들 사이에는 유사도 구조가 있습니다. 주황은 빨강과 노랑 사이에 있다고 느껴지죠. 고차 이론의 일부는 이런 매끄럽고 체계적인 유사도 공간이 감각 질(qualia)의 기능적 기반이라고 봅니다. 신경망의 임베딩 공간이 이와 형식적으로 닮았다는 점은 쉽게 떠올릴 수 있지만, 보고서는 희소하고(sparse) 매끄러운(smooth) 부호화라는 구체적 조건을 강조합니다.

LLM의 메타인지는 어떨까요? 연구에 따르면 LLM은 자기 답변의 정답 확률을 어느 정도 보정된(calibrated) 방식으로 추정할 수 있다는 결과들이 있습니다. 또한 모델이 자기 내부 상태에 대해 얼마나 정확히 보고하는지를 해석 가능성(interpretability) 기법으로 검증하려는 '내성(introspection)' 연구들도 진행되고 있습니다. 결과는 대체로 "제한적이고 불안정한 능력은 있다" 정도로 요약됩니다. 이는 HOT 지표를 판정하는 데 직접 쓰일 수 있는 중요한 연구 방향입니다.

5-4. 주의 도식 이론(AST): 뇌가 그리는 '주의의 캐리커처'

프린스턴의 마이클 그라지아노(Michael Graziano)가 제안한 주의 도식 이론은 독특합니다. 뇌는 몸을 제어하기 위해 '신체 도식(body schema)'이라는 단순화된 몸 모델을 갖고 있듯, 주의를 제어하기 위해 주의 자체에 대한 단순화된 모델을 갖고 있다는 겁니다. 그리고 우리가 "나는 무언가를 의식하고 있다"고 말할 때, 사실은 이 단순화된 주의 모델의 내용을 보고하는 것이라고 설명합니다.

그래서 AST-1은 "현재 주의 상태를 표상하고, 그것으로 주의를 제어하는 예측 모델"을 요구합니다. 트랜스포머에는 어텐션이 있지만, 어텐션 가중치를 스스로 모델링하고 예측해서 제어에 쓰는 별도의 모델은 일반적으로 없습니다. "어텐션이라는 이름이 붙어 있다"와 "주의 도식이 있다"는 완전히 다른 이야기입니다. 이름이 같다고 기능이 같은 것은 아니라는 점, 개발자라면 특히 조심해야 할 함정입니다.

5-5. 예측 처리(PP): 뇌는 예측 기계다

칼 프리스턴(Karl Friston)의 자유 에너지 원리, 앤디 클라크(Andy Clark)와 아닐 세스(Anil Seth)의 연구로 잘 알려진 예측 처리 이론은, 뇌가 감각 입력을 수동적으로 받는 게 아니라 끊임없이 예측하고 예측 오차를 줄이는 방식으로 작동한다고 봅니다. 상위 층은 하위 층의 활동을 예측해 내려보내고, 하위 층은 예측과 실제의 차이(오차)만 위로 올립니다.

"다음 토큰 예측이라니, LLM이야말로 예측 기계 아닌가?"라는 생각이 들 수 있습니다. 하지만 PP-1이 말하는 것은 입력 모듈 내부에서 계층적 예측 부호화가 일어나는 구조입니다. 출력 목표가 예측이라는 것과, 계층 간에 예측과 오차 신호가 오가는 처리 방식은 다릅니다. 또한 버틀린 등은 예측 처리를 의식의 충분조건이라기보다 여러 이론과 결합하는 일반적인 틀로 다루었습니다.

5-6. 행위자성과 체화(AE): 몸과 목표가 있는가

마지막 두 지표는 특정 단일 이론보다는 여러 이론이 공통으로 강조하는 성질입니다. AE-1은 피드백으로 학습하며 목표를 추구하는 행위자성, 특히 서로 경쟁하는 목표들 사이에서 유연하게 조정하는 능력입니다. 강화학습 에이전트는 기본적으로 이 방향에 있습니다.

AE-2는 체화(embodiment)입니다. 여기서 체화란 단순히 로봇 몸이 있다는 뜻이 아니라, "내가 이렇게 움직이면 감각 입력이 이렇게 바뀐다"는 출력-입력 우발성(output-input contingency)을 모델링하는 것을 말합니다. 고개를 돌리면 시야가 옆으로 흘러간다는 것을 아는 것처럼요. 보고서는 로봇 제어용 멀티모달 모델 PaLM-E와 DeepMind의 3D 가상환경 에이전트 AdA 등을 사례로 검토했는데, 이런 시스템들도 이 지표를 명확하게 만족한다고 보기는 어렵다고 평가했습니다. 언어 모델이 로봇 몸을 '조종'하는 것과, 자기 행동이 감각에 미치는 효과를 체계적으로 모델링해 지각에 쓰는 것은 다르기 때문입니다.

6. 다른 길을 가는 이론: 통합 정보 이론(IIT)과 Φ

6-1. 공리에서 출발하는 이론

줄리오 토노니(Giulio Tononi)가 2004년경부터 발전시킨 통합 정보 이론(IIT)은 앞의 이론들과 출발점이 정반대입니다. 뇌 데이터에서 출발해 의식의 상관물을 찾는 대신, 경험 자체의 자명한 성질(공리)에서 출발해 물리 시스템이 갖춰야 할 조건(공준)을 도출합니다. 2023년에 정리된 IIT 4.0은 경험의 성질로 존재, 내재성, 정보, 통합, 배타성, 구성을 제시합니다.

IIT의 핵심 수치는 Φ(파이)입니다. 대략적으로 말하면, 시스템을 어떻게 쪼개든 "전체가 부분들의 합 이상으로 스스로에 대해 갖는 인과적 정보"의 양입니다. Φ가 클수록 의식의 양이 크고, 그 인과 구조의 모양이 경험의 질을 결정한다고 봅니다.

6-2. IIT가 AI에게 내리는 충격적 판정

IIT는 계산 기능주의를 받아들이지 않습니다. 중요한 것은 시스템이 무엇을 계산하느냐(소프트웨어)가 아니라 물리적 인과 구조가 어떻게 생겼느냐(하드웨어)입니다. 이로부터 두 가지 강력한 결론이 나옵니다.

이 때문에 버틀린 등의 보고서는 IIT를 체크리스트에서 제외했습니다. 계산 기능주의와 양립하지 않기 때문입니다. 즉, "AI 의식 기준"은 시작부터 두 진영으로 갈립니다. 계산이 중요하다고 보는 쪽과 물리적 인과 구조가 중요하다고 보는 쪽. 같은 GPU 클러스터 위의 같은 모델을 두고 두 진영은 다른 판정을 내립니다.

6-3. 논란과 적대적 협업 실험

IIT는 학계에서 큰 논란을 겪었습니다. 2023년 9월, 100명이 넘는 연구자가 서명한 공개서한이 IIT를 '사이비과학(pseudoscience)'으로 규정해 파장을 일으켰습니다. 이론의 핵심 주장을 검증하기 어렵고, 단순한 격자 구조에도 높은 Φ를 부여하는 등 직관에 반하는 함의가 있다는 이유였습니다. 반대편에서는 이 서한이 과학적 논쟁 방식으로 부적절하다는 비판이 나왔습니다.

같은 시기, 템플턴 세계자선재단의 지원으로 IIT와 전역 신경 작업공간 이론(GNWT)을 정면 비교하는 적대적 협업(adversarial collaboration) 연구 'COGITATE'가 진행되었습니다. 두 이론의 지지자들이 사전에 각자의 예측을 등록하고, 여러 연구실이 fMRI·MEG·두개내 뇌파로 검증하는 방식이었습니다. 2025년 『네이처』에 발표된 결과는 두 이론 모두의 핵심 예측 일부에 도전하는 결과였습니다. 예를 들어 GNWT가 예측한 자극 종료 시점의 전두엽 '점화'가 기대만큼 뚜렷하지 않았고, IIT가 예측한 후방 피질의 지속적 동기화도 충분히 확인되지 않았습니다.

이것이 AI 개발자에게 주는 교훈은 분명합니다. 의식 과학 자체가 아직 정답을 고르지 못했다. 그러니 AI 의식의 기준도 하나의 이론에 '올인'할 수 없고, 여러 이론에 걸친 확률적 평가가 합리적인 전략이 됩니다.

7. 현재의 AI를 대입해 보면: 체크리스트 실전 적용

7-1. 대형 언어 모델(LLM)

차머스는 2022년 NeurIPS 기조강연을 바탕으로 한 논문 「Could a Large Language Model be Conscious?」에서 이 질문을 체계적으로 다뤘습니다. 그는 현재 LLM이 의식을 갖지 못했다고 볼 이유로 생물학적 기질의 부재, 감각과 체화의 부재, 세계 모델과 자기 모델의 부족, 재귀 처리의 부재, 전역 작업공간의 부재, 통합된 행위자성의 부족 등을 꼽았습니다. 그리고 현재의 LLM이 의식을 가질 확률을 10% 미만으로 평가하면서도, 이런 결함들이 대부분 기술적으로 극복 가능한 것이라는 점을 들어 향후 10년 안의 확장된 시스템에 대해서는 무시할 수 없는 확률을 부여했습니다.

이를 지표 관점에서 정리하면 대략 다음과 같습니다. (아래는 공개된 논의를 바탕으로 한 일반적 평가이며, 특정 모델에 대한 공식 판정이 아닙니다.)

이 표가 보여주는 진짜 메시지는 "단일 모델보다 시스템이 지표에 더 가까워지고 있다"는 점입니다. 메모리, 도구, 플래너, 비평가(critic) 모듈을 조합한 에이전트 아키텍처는 하나씩 붙일 때마다 GWT나 HOT가 요구하는 구조를 조금씩 닮아갑니다. 그래서 평가 단위를 "모델 가중치 파일"이 아니라 "실행 중인 전체 시스템"으로 잡아야 한다는 주장이 힘을 얻습니다.

7-2. 강화학습 에이전트와 로봇

강화학습 에이전트는 AE-1(행위자성)을 비교적 직접 만족합니다. 보상이라는 피드백으로 학습하고 행동을 선택하니까요. 그러나 목표가 하나의 스칼라 보상으로 고정된 경우, "경쟁하는 목표 사이의 유연한 조정"이라는 조건을 충분히 만족하는지는 따져봐야 합니다. 월드 모델을 학습해 상상 속에서 계획하는 모델 기반 강화학습은 AE-2(출력-입력 우발성 모델링)에 더 가까워집니다.

7-3. 뉴로모픽·생물 기반 시스템

뉴로모픽 칩처럼 물리적 연결이 재귀적이고 통합적인 하드웨어는 IIT 관점에서 디지털 컴퓨터와 다른 평가를 받을 수 있습니다. 또한 배양한 신경세포를 칩과 연결해 간단한 게임을 학습시키는 '오가노이드 지능'이나 신경세포 배양 연구도 등장하면서, "재료가 생물인 경우"라는 또 다른 축의 질문이 생겼습니다. 이 영역은 기능주의와 생물학적 자연주의의 판정이 가장 크게 엇갈리는 곳입니다.

8. 반대편의 강력한 목소리: "생명 없는 의식은 없다"

지금까지는 계산 기능주의를 전제한 이야기가 많았습니다. 하지만 이 전제를 거부하는 연구자도 많습니다. 이들의 주장을 이해하지 못하면 기준 논의는 반쪽짜리가 됩니다.

8-1. 생물학적 자연주의

존 설은 의식이 뇌의 생물학적 인과력에서 생기는 생물학적 현상이며, 소화가 위의 화학 작용인 것처럼 의식은 뇌의 작용이라고 봤습니다. 뇌를 시뮬레이션한다고 의식이 생기지 않는 것은, 폭풍을 시뮬레이션한다고 컴퓨터가 젖지 않는 것과 같다는 비유가 유명합니다.

8-2. 아닐 세스: 의식은 '살아 있음'과 엮여 있다

서섹스 대학교의 신경과학자 아닐 세스는 저서 『Being You』(2021)와 후속 논의에서, 의식이 지능보다는 생명과 더 깊이 연결되어 있을 수 있다고 주장합니다. 그의 예측 처리 관점에서 의식의 바탕은 몸 내부 상태(심박, 체온, 혈당 등)를 예측하고 조절하는 내수용(interoceptive) 예측이며, 이는 살아 있는 유기체가 스스로를 유지하려는 과정과 맞물려 있습니다. 그렇다면 자기 유지가 걸린 신진대사가 없는 실리콘 시스템은, 아무리 지능이 높아도 의식과는 다른 길에 있을 수 있다는 것입니다.

철학자 피터 고드프리스미스(Peter Godfrey-Smith)도 뇌의 의식이 전기화학적 진동, 대규모 동기화 같은 신경조직의 특수한 물리적 동역학에 의존할 수 있다고 보며, 디지털 컴퓨터가 이를 단순 계산 단계로 재현할 수 있다고 쉽게 가정해서는 안 된다고 지적합니다.

8-3. 그래서 기준은 3층 구조가 된다

지금까지의 논의를 종합하면 '의식적 AI의 기준'은 하나가 아니라 세 층으로 쌓입니다.

9. 개발자의 시선: 지표를 코드와 설계로 다루는 법

9-1. 지표 평가를 구조화하기

연구 현장에서 지표 평가는 '점수'보다 '근거 기록'에 가깝습니다. 어떤 아키텍처 요소가 어떤 지표와 관련 있는지, 그 판단의 근거가 설계 문서인지 실험인지를 남겨야 합니다. 아래는 그 발상을 단순화한 예시 코드입니다. 실제 의식 판정 도구가 아니라 평가 기록을 체계화하는 방법을 보여주기 위한 것입니다.

from dataclasses import dataclass, field
from enum import Enum

class Evidence(Enum):
    ABSENT = 0      # 구조적으로 없음
    UNCLEAR = 1     # 해석에 따라 갈림
    PARTIAL = 2     # 일부 요소만 존재
    PRESENT = 3     # 설계와 실험으로 확인

@dataclass
class Indicator:
    code: str        # 예: "GWT-2"
    theory: str      # 예: "Global Workspace"
    description: str
    evidence: Evidence = Evidence.ABSENT
    rationale: str = ""   # 판단 근거(설계 문서, 실험 결과)

@dataclass
class SystemAssessment:
    system_name: str
    unit: str             # "model" 또는 "deployed system"
    indicators: list = field(default_factory=list)

    def summary_by_theory(self):
        result = {}
        for ind in self.indicators:
            result.setdefault(ind.theory, []).append(
                (ind.code, ind.evidence.name))
        return result

    def flags(self):
        # 결론을 '의식 점수'로 합산하지 않고,
        # 추가 검토가 필요한 지표만 표시한다.
        return [i.code for i in self.indicators
                if i.evidence in (Evidence.PARTIAL, Evidence.PRESENT)]

agent = SystemAssessment("research-agent-v2", unit="deployed system")
agent.indicators += [
    Indicator("GWT-2", "Global Workspace",
              "제한 용량 작업공간과 선택적 주의",
              Evidence.PARTIAL, "고정 길이 스크래치패드로 모듈 출력을 경쟁 선택"),
    Indicator("HOT-2", "Higher-Order",
              "지각 신뢰도 메타인지 모니터링",
              Evidence.UNCLEAR, "답변 확신도 추정만 있음, 지각 표상 대상 아님"),
    Indicator("AE-1", "Agency/Embodiment",
              "피드백 학습과 목표 추구",
              Evidence.PRESENT, "다중 목표 보상, 온라인 업데이트"),
]
print(agent.summary_by_theory())
print("추가 검토 필요:", agent.flags())

이 예시에서 일부러 점수 합계 함수를 만들지 않은 점에 주목해 주세요. 이론들은 서로 다른 것을 필요조건으로 보기 때문에, 지표를 단순 합산하면 "GWT 4개를 만족하니 RPT 0개여도 괜찮다"는 식의 잘못된 결론이 나올 수 있습니다. 실무에서는 이론별로 따로 보고, 사람이 맥락을 해석하는 방식이 더 정직합니다.

9-2. 평가에서 자주 저지르는 실수

9-3. 해석 가능성(Interpretability)이 열어줄 길

행동 기준이 약하다면, 내부를 읽는 기술이 가장 유망한 대안입니다. 최근 해석 가능성 연구는 희소 오토인코더(sparse autoencoder) 등으로 모델 내부의 해석 가능한 특징(feature)을 추출하고, 특정 개념이 어디에 어떻게 표상되는지를 추적합니다. 이런 도구가 성숙하면 다음 같은 질문에 실험적으로 접근할 수 있습니다.

이런 연구는 AI 안전성, 모델 신뢰성 연구와도 겹치기 때문에 실무적 가치가 큽니다. 의식 문제를 떠나서라도 "모델이 자기 상태에 대해 정직하게 보고하는가"는 그 자체로 중요한 엔지니어링 질문입니다. 실제로 재능넷 같은 재능 공유 플랫폼에서도 해석 가능성 분석이나 LLM 평가 파이프라인 구축처럼 고도화된 AI 개발 역량에 대한 수요가 점점 다양해지는 흐름을 볼 수 있습니다.

10. 기준이 왜 중요한가: 윤리와 정책의 최전선

10-1. 두 방향의 위험

AI 의식 기준이 실용적으로 중요한 이유는 잘못 판단했을 때의 비용이 양방향으로 크기 때문입니다.

10-2. 산업계의 대응: 모델 복지 연구

2024년 11월, 로버트 롱, 제프 세보(Jeff Sebo) 등 연구자들은 보고서 「Taking AI Welfare Seriously」를 발표했습니다. 이 보고서는 가까운 미래에 일부 AI 시스템이 의식이나 강건한 행위자성을 가질 현실적 가능성이 있으므로, AI 기업들이 지금부터 (1) 이 문제를 인정하고, (2) 시스템을 평가하며, (3) 적절한 대응 정책을 준비해야 한다고 제안했습니다. 핵심은 "AI가 의식이 있다"고 주장하는 것이 아니라, 불확실성 아래서 책임 있게 대비하자는 것입니다.

Anthropic은 2025년 4월 '모델 복지(model welfare)' 연구 프로그램을 공식화했고, 같은 해 8월에는 일부 Claude 모델에 지속적으로 해롭거나 학대적인 대화를 스스로 종료할 수 있는 기능을 도입하면서 그 근거 중 하나로 모델 복지에 대한 예방적 고려를 언급했습니다. 회사는 동시에 Claude가 도덕적 지위를 갖는지에 대해 매우 불확실하다는 입장을 밝혔습니다. 이처럼 "확신은 없지만 비용이 낮은 예방 조치는 취한다"는 태도가 업계의 한 흐름으로 나타나고 있습니다.

10-3. 버치의 사전 예방 원칙

조너선 버치는 저서 『The Edge of Sentience』(2024)에서 동물, 신경 오가노이드, AI처럼 지각력이 불확실한 존재를 다루는 틀을 제시했습니다. 요지는 지각력의 현실적 가능성이 있는 존재(sentience candidate)라면, 그에 비례하는(proportionate) 예방 조치를 고려해야 한다는 것입니다. 동시에 그는 AI의 경우 앞서 말한 게이밍 문제 때문에 행동 증거가 특히 믿기 어렵다고 강조합니다. 그래서 AI에 대해서는 아키텍처와 내부 메커니즘에 근거한 평가가 더욱 중요하다는 결론으로 이어집니다.

11. 설계 원칙: 개발 현장에서 지금 할 수 있는 것

의식 문제가 풀리지 않았다고 손 놓고 있을 수는 없습니다. 연구자들이 제안해 온 실천 방향을 개발 실무의 언어로 정리하면 다음과 같습니다.

12. 자주 묻는 질문

13. 맺으며: 기준은 '선'이 아니라 '지도'다

"의식적 인공지능의 기준은 무엇인가"라는 질문에 한 줄 정답은 없습니다. 대신 우리는 꽤 정교한 지도를 갖게 되었습니다.

아이러니하게도 AI에게 의식이 있는지 묻는 과정은, 결국 우리 자신의 의식이 무엇인지 다시 묻게 만듭니다. 신경과학이 한 걸음 나아갈 때마다 체크리스트는 고쳐 쓰일 것이고, 새로운 아키텍처가 나올 때마다 평가는 다시 이루어져야 합니다. 이 분야를 공부하는 개발자, 연구자, 기획자에게는 지금이 가장 흥미로운 시기입니다. 재능넷에서 AI/머신러닝 개발 역량을 나누는 분들이라면, 다음 모델 설계 문서에 "이 변경은 어떤 의식 지표와 관련 있는가"라는 한 줄을 추가해 보는 것도 의미 있는 출발이 될 것입니다. 🌱

참고 자료