게임이론과 내시 균형: 죄수의 딜레마로 풀어보는 '협력이 탄생하는 수학적 조건'

친구야, 이런 경험 있지 않아? 조별과제에서 "다들 열심히 하겠지?" 하고 살짝 손 놓았는데, 알고 보니 모두가 똑같이 생각해서 발표 전날 밤샘한 경험. 😇
아니면 카페에서 옆 테이블이 목소리를 높이니까 우리도 덩달아 크게 말하게 되고, 결국 가게 전체가 시끄러워지는 상황.

이건 단순히 "사람들이 이기적이라서"가 아니야. 놀랍게도 각자가 합리적으로 판단했는데도 모두에게 나쁜 결과가 나오는 구조가 수학적으로 존재하거든. 그걸 정밀하게 다루는 분야가 바로 게임이론(Game Theory)이고, 그 핵심에 내시 균형(Nash Equilibrium)과 죄수의 딜레마(Prisoner's Dilemma)가 있어.

오늘은 이 '어려운 수학'을 최대한 친구한테 수다 떨듯 풀어볼게. 그래도 수식과 정의는 정확하게 짚고 갈 거니까, 끝까지 따라오면 "아, 협력은 착해서가 아니라 조건이 맞아서 생기는 거구나!" 하는 순간이 올 거야. 🎯

🎲 1. 게임이론, 대체 뭐가 '게임'이라는 걸까?

게임이론이라고 하면 롤이나 스타크래프트 공략법 같지만, 수학에서 말하는 '게임'은 훨씬 넓어. 둘 이상의 의사결정자가 있고, 내 결과가 내 선택뿐 아니라 남의 선택에도 달려 있는 모든 상황을 게임이라고 불러.

그러니까 가격 경쟁하는 편의점 두 곳, 군비 경쟁하는 국가들, 경매에 참여한 입찰자들, 심지어 꽃가루를 옮겨주는 벌과 꽃의 관계까지도 게임이론의 분석 대상이야.

여기서 포인트는 보수 함수 u_i가 나의 전략만이 아니라 모든 경기자의 전략을 입력으로 받는다는 거야. 이게 혼자 최적화하는 일반적인 최적화 문제와 게임이론이 갈라지는 지점이지.
혼자라면 "가장 좋은 걸 고르면 끝"인데, 게임에선 "상대가 뭘 고를지 예측하고, 상대도 내가 그걸 예측한다는 걸 예측하고…" 하는 무한 거울방이 펼쳐져. 🪞

📜 게임이론의 짧은 역사

참고로 '죄수의 딜레마'라는 이름과 감옥 이야기는 프린스턴의 수학자 앨버트 터커(Albert W. Tucker)가 1950년 스탠퍼드 심리학과 강연에서 플러드·드레셔의 게임을 쉽게 설명하려고 붙인 거야. 흥미롭게도 터커는 존 내시의 박사과정 지도교수이기도 했어. 세상 좁지? 😄

🔒 2. 죄수의 딜레마, 정확한 구조부터 뜯어보자

이야기는 이래. 범죄 혐의로 붙잡힌 두 공범 A와 B가 서로 다른 방에서 조사를 받아. 서로 대화는 불가능. 검사가 각자에게 같은 제안을 하지.

이걸 표, 즉 보수 행렬(Payoff matrix)로 정리하면 이래. 칸 안의 숫자는 (A의 징역, B의 징역)이야. 징역이니까 숫자가 작을수록 좋은 거 잊지 마!

자, 이제 A의 입장에서 머리를 굴려보자. 🧠

B도 완전히 대칭이라 똑같이 생각해. 결과는? 둘 다 자백해서 각 5년. 둘 다 침묵했으면 1년이었는데! 이게 바로 '딜레마'야. 개인의 합리성이 집단의 비합리성을 낳는 구조지.

📐 일반화된 수학적 조건

숫자 대신 일반 기호로 쓰면 더 정확해져. 이번엔 '징역' 대신 '얻는 점수(클수록 좋음)'로 바꿀게. 게임이론 교과서와 로버트 액셀로드의 연구에서 표준으로 쓰는 기호야.

①은 "배신하면 항상 이득인데, 다 같이 배신하면 다 같이 협력할 때보다 손해"라는 구조를 만들어. ②는 반복 게임에서 "번갈아 배신하고 당하는 것(T와 S를 교대로)"보다 "꾸준히 협력하는 것(R, R)"이 더 낫도록 보장하는 조건이야. 액셀로드의 유명한 토너먼트에서는 T=5, R=3, P=1, S=0을 썼어. 확인해 봐: 5 > 3 > 1 > 0 이고, 2×3=6 > 5+0=5. 완벽하게 조건을 만족하지! ✅

⚖️ 3. 내시 균형: "아무도 혼자서는 바꿀 이유가 없는 상태"

이제 이 글의 주인공 등장. 존 내시가 1950년 단 두 쪽짜리 논문(미국 국립과학원 회보, PNAS)으로 세상을 바꾼 개념이야.

수식으로 쓰면 이래. 전략 조합 s* = (s₁*, …, s_n*)가 내시 균형이라는 건,

여기서 s_-i*는 "나(i)를 뺀 나머지 모두의 균형 전략"을 뜻하는 표기야. 즉, 남들이 가만히 있으면 나 혼자 바꿔봤자 손해거나 본전이라는 뜻이지.

다른 말로 하면 내시 균형은 "모두가 서로에게 최적 대응(Best Response)을 하고 있는 상태"야. 최적 대응이란 상대 전략이 주어졌을 때 내 보수를 최대로 만드는 전략을 말해.

🔍 죄수의 딜레마에서 균형 찾기

앞의 점수 버전(T=5, R=3, P=1, S=0)으로 확인해 보자. 이번엔 점수가 클수록 좋아.

이렇게 각 경기자의 최적 대응에 밑줄을 긋는 방법을 '밑줄 긋기 기법'이라고 해. 두 숫자 모두에 밑줄이 그어진 칸이 내시 균형이야. 여기선 (배신, 배신) = (1, 1) 하나뿐이지.

(협력, 협력)은 (3, 3)으로 훨씬 좋아 보이지만 균형이 아니야. 왜냐면 A 입장에서 B가 협력하고 있을 때 혼자 배신으로 바꾸면 3 → 5로 올라가거든. 즉 혼자 이탈할 유인이 있어서 불안정해. 🫠

그림을 보면 모든 화살표가 결국 오른쪽 아래 칸으로 모여들어. 거기서는 더 나갈 화살표가 없지. 이게 바로 균형의 시각적 의미야.

🥇 우월전략 균형 vs 내시 균형

죄수의 딜레마는 사실 내시 균형 중에서도 아주 강한 형태야. 배신이 강우월전략(Strictly Dominant Strategy)이거든. 상대가 뭘 하든 항상 배신이 더 낫다는 뜻이야.

📉 파레토 효율성: 균형인데 왜 '나쁜' 걸까?

"나쁘다"를 수학적으로 정의하려면 파레토 효율(Pareto efficiency) 개념이 필요해. 어떤 결과에서 아무도 손해 보지 않으면서 누군가는 더 좋아지는 다른 결과가 있다면, 원래 결과는 파레토 열등하다고 해.

(배신, 배신) = (1, 1)에서 (협력, 협력) = (3, 3)으로 가면 둘 다 좋아지지? 그러니까 내시 균형이 파레토 열등한 거야. "균형 = 최선"이 아니다라는 것, 이게 죄수의 딜레마가 주는 가장 강력한 교훈이야. 경제학의 '보이지 않는 손'이 항상 잘 작동하진 않는다는 반례로도 자주 등장해.

🧮 4. 내시 균형은 항상 존재할까? (진짜 어려운 수학 파트)

여기서부터 '어려운 수학'의 맛이 조금 나. 각오됐지? 🔥

예를 들어 가위바위보를 생각해 봐. 순수 전략(항상 가위, 항상 바위…)으로는 내시 균형이 없어. 네가 항상 바위를 내면 나는 보를 내고 싶고, 그럼 넌 가위로 바꾸고 싶고… 끝없이 돌거든.

그런데 혼합 전략(Mixed Strategy), 즉 확률적으로 섞어서 내는 전략을 허용하면 이야기가 달라져. 가위·바위·보를 각각 1/3씩 무작위로 내는 것이 서로에 대한 최적 대응이 되고, 이게 유일한 내시 균형이야.

🌀 고정점 정리, 직관적으로 이해하기

브라우어 고정점 정리는 대략 이런 내용이야: "닫힌 공 같은 집합(볼록하고 콤팩트한 집합)에서 자기 자신으로 가는 연속 함수는 반드시 움직이지 않는 점(고정점)을 하나 이상 가진다."

유명한 비유가 있어. 커피를 숟가락으로 아무리 휘저어도(연속적으로 섞기만 하고 쏟거나 찢지 않으면), 젓기 전과 정확히 같은 위치에 있는 점이 최소 하나 존재한다는 거야. ☕ 신기하지?

내시의 아이디어는 이걸 게임에 연결한 거야.

여기서 1950년 증명에 쓰인 가쿠타니 정리는 함수 대신 '대응관계(correspondence, 한 입력에 여러 출력이 가능한 것)'에 대한 일반화 버전이야. 최적 대응이 여러 개일 수 있으니까 이게 더 자연스럽지.

재밌는 사실 하나. 이 증명은 균형이 존재한다는 것만 보장하지, 균형을 빠르게 찾는 법은 알려주지 않아. 실제로 2000년대 연구(다스칼라키스·골드버그·파파디미트리우 등)에서 일반 게임의 내시 균형을 찾는 문제가 PPAD-완전이라는 계산 복잡도 클래스에 속한다는 게 밝혀졌어. 쉽게 말해 "있는 건 확실한데 찾기는 아마 엄청 어렵다"는 뜻이지. 수학 참 얄궂다. 😅

🔁 5. 협력의 조건 ①: 게임을 '반복'하라

여기까지 보면 좀 우울하지? "결국 다 배신하는 게 합리적이라고?" 하지만 반전이 있어. 현실의 관계는 대부분 한 번으로 끝나지 않거든. 단골 가게, 직장 동료, 이웃 나라… 다 반복되는 관계야.

⏳ 끝이 정해진 반복: 역진 귀납법의 함정

그런데 반복 횟수가 정확히 정해져 있으면(예: 정확히 10번), 이론적으로는 여전히 배신이 나와. 역진 귀납법(Backward Induction) 때문이야.

이게 이론적 결론인데, 실제 사람 대상 실험에서는 초반에 협력하다가 끝무렵에 배신이 늘어나는 패턴이 자주 관찰돼. 이론과 현실의 간극이 흥미로운 연구 주제이기도 해.

♾️ 끝을 모르는 반복: 포크 정리와 할인율

반면 게임이 언제 끝날지 모르거나 무한히 반복되면 상황이 완전히 바뀌어. 미래의 보수를 얼마나 중요하게 여기는지를 나타내는 할인 인자 δ(0 < δ < 1)를 도입해 볼게. δ가 1에 가까울수록 "미래도 지금만큼 중요해!"라는 뜻이야. (매 라운드 후 게임이 계속될 확률로 해석해도 같은 수학이 나와.)

대표적인 전략인 방아쇠 전략(Grim Trigger)을 보자: "협력으로 시작하고, 상대가 한 번이라도 배신하면 그 뒤로 영원히 배신한다." 상대도 이 전략일 때 내가 협력을 유지할지 배신할지 계산해 보면,

액셀로드 수치(T=5, R=3, P=1)를 넣으면 δ ≥ (5−3)/(5−1) = 0.5야. 즉 "다음 판이 있을 확률(또는 미래의 가치)"이 50% 이상이면, 서로 방아쇠 전략을 쓰는 협력이 내시 균형이 돼! (더 엄밀히는 하위게임 완전 균형까지 성립해.) 🎉

더 나아가 포크 정리(Folk Theorem)라는 결과가 있어. 할인 인자가 충분히 1에 가까우면, 각자 최소한으로 보장받을 수 있는 수준보다 나은 거의 모든 평균 보수 조합이 반복 게임의 균형으로 지지될 수 있다는 내용이야. 이름이 '민간 정리'인 이유는 연구자들 사이에서 누가 처음 증명했는지 특정하기 어려울 만큼 널리 '구전'되던 결과였기 때문이야.

🏟️ 6. 액셀로드의 토너먼트: 착한 놈이 이긴다?

이론만으론 심심하지? 실제로 전략끼리 싸움을 붙인 유명한 실험이 있어. 미시간 대학교의 정치학자 로버트 액셀로드(Robert Axelrod)가 1980년 전후로 연 반복 죄수의 딜레마 컴퓨터 토너먼트야.

결과는? 두 번 다 우승은 토론토 대학교의 수학자·심리학자 아나톨 라포포트(Anatol Rapoport)가 낸 팃포탯(Tit for Tat, 받은 대로 갚기)이었어. 놀랍게도 코드가 출전작 중 가장 짧은 축에 속했어. 규칙은 단 두 줄!

def tit_for_tat(opponent_history):
    if len(opponent_history) == 0:
        return "협력"            # 첫 판은 무조건 협력
    return opponent_history[-1]  # 이후엔 상대의 직전 수를 그대로 따라함

단, 오해하면 안 되는 포인트가 있어. 팃포탯은 한 번의 대결에서 상대보다 높은 점수를 받는 일이 절대 없어. 기껏해야 비기거나 조금 지지. 그런데 모든 상대와의 대결 점수를 합산하면 1등이야. 상대를 이기는 게 아니라 함께 높은 점수를 만드는 것으로 우승한 거지. 이거 좀 감동 포인트 아니야? 🥹

액셀로드는 1984년 저서 『협력의 진화(The Evolution of Cooperation)』에서 성공한 전략들의 공통점을 네 가지로 정리했어.

⚠️ 팃포탯도 만능은 아니야

현실엔 노이즈(실수·오해)가 있어. 상대가 협력했는데 내가 잘못 보고 배신으로 인식하면? 팃포탯끼리는 "배신-응징-배신-응징…" 메아리 전쟁에 빠질 수 있어. 😱

그래서 후속 연구에서 이런 변형들이 주목받았어.

🧬 7. 협력의 다섯 가지 메커니즘: 진화생물학의 대답

게임이론은 경제학을 넘어 생물학에서도 엄청 중요해. 1970년대 존 메이너드 스미스(John Maynard Smith)와 조지 프라이스(George Price)는 진화적으로 안정한 전략(ESS) 개념을 제시했어. 이성적 계산 없이도, 그저 '잘 살아남는 전략이 늘어나는' 자연선택만으로 균형 같은 상태가 나타난다는 거야.

그렇다면 냉혹한 자연선택 속에서 협력은 어떻게 살아남았을까? 하버드의 마틴 노와크(Martin Nowak)는 2006년 『사이언스』 논문 「협력의 진화를 위한 다섯 가지 규칙(Five Rules for the Evolution of Cooperation)」에서 이를 정리했어. 여기서 b는 협력으로 상대가 얻는 이익, c는 협력자가 치르는 비용이야.

(r: 혈연도, w: 다음 만남의 확률, q: 상대 평판을 알 확률, k: 평균 이웃 수, n: 집단 최대 크기, m: 집단 수)

공통 구조가 보이지? 전부 "어떤 연결 정도 > 비용/이익 비율" 형태야. 협력은 기적이 아니라, 관계의 끈이 비용 대비 이익 비율을 넘어설 때 수학적으로 등장하는 현상이라는 것. 이게 오늘의 핵심 메시지야. 🌱

🌍 8. 현실 속 죄수의 딜레마들

마지막 예시가 특히 흥미로워. 재능넷처럼 낯선 사람들끼리 재능을 사고파는 플랫폼은 본질적으로 1회성 게임이 될 위험이 있거든. 그런데 거래 후기와 평점이 쌓이면 "오늘의 성실함이 내일의 일감이 되는" 구조, 즉 할인 인자 δ가 커지는 효과가 생겨. 평판이라는 장치가 죄수의 딜레마를 협력 게임으로 바꿔주는 셈이지. 수학이 플랫폼 설계에도 녹아 있다니, 꽤 멋지지 않아? ✨

🧑‍⚖️ 협력을 만드는 제도 설계

노벨 경제학상(2009) 수상자 엘리너 오스트롬(Elinor Ostrom)은 전 세계 공동체들을 연구해서, 정부 규제나 사유화 없이도 사람들이 스스로 공유 자원을 오랫동안 잘 관리한 사례들을 보여줬어. 명확한 경계, 감시, 단계적 제재, 저비용 분쟁 해결 등의 원칙이 그 비결이었지. 게임이론으로 보면 이것들은 모두 보수 구조(T, R, P, S)를 바꾸거나 δ를 키우는 장치라고 해석할 수 있어.

🎯 9. 다른 유명 게임들과 비교해보기

죄수의 딜레마만 알면 반쪽이야. 보수 순서만 살짝 바꿔도 완전히 다른 게임이 돼.

사슴 사냥(Stag Hunt)은 루소의 이야기에서 유래했어. 함께 사슴을 잡으면 최고지만, 혼자 사슴을 노리면 빈손이니 확실한 토끼를 잡을 유혹이 있지. 여기선 상호 협력이 이미 균형이라서, 문제는 "배신의 유혹"이 아니라 "상대를 믿을 수 있느냐"야.

치킨 게임은 두 차가 마주 보고 돌진하는 상황. 먼저 피하면 겁쟁이(치킨)지만, 둘 다 안 피하면 충돌이라는 최악의 결과. 그래서 P가 가장 낮은 S 아래에 있어.

위 그래프는 앞에서 구한 방아쇠 전략의 조건을 시각화한 거야. 두 곡선은 δ=0.5일 때 정확히 6에서 만나(R/(1−0.5)=6, 5+0.5×1/0.5=6). 그보다 미래를 중시하면 협력 곡선이 위로 치고 나가지. "오래 볼 사이"일수록 착하게 구는 게 수학적으로 이득이라는 걸 한눈에 볼 수 있어. 📈

🧠 10. 오해하기 쉬운 포인트 정리

🎁 11. 마무리: 협력은 '착함'이 아니라 '설계'다

오늘 여정을 한 줄로 요약해 볼게.

존 내시는 협력이 어려운 이유를 수학적으로 보여줬고, 액셀로드와 노와크 같은 후속 연구자들은 그럼에도 협력이 어떻게 피어나는지를 보여줬어. 액셀로드의 표현을 빌리자면, 협력의 핵심은 "미래의 그림자(shadow of the future)"를 길게 드리우는 것이야.

다음에 조별과제에서 무임승차가 걱정된다면 이렇게 생각해 봐. "이 팀은 한 학기 내내 같이 가는 반복 게임이다. 첫 회의에선 먼저 협력하고, 명확하게 반응하자." 이건 착한 척이 아니라, 1994년 노벨상과 수십 년 연구가 뒷받침하는 가장 합리적인 전략이야. 😉🤝