페르마의 마지막 정리: 책 여백이 부족해서 358년이 걸린 수학 최대의 난제 이야기

1. 문제 자체는 중학생도 이해할 수 있어

페르마의 마지막 정리가 유명한 이유 중 하나는 문제 자체가 어처구니없을 만큼 단순하다는 거야. 대학 수학의 온갖 난해한 용어가 하나도 필요 없어. 딱 이것뿐이야.

여기서 n이 3 이상의 자연수일 때, 이 식을 만족하는 양의 정수 x, y, z는 존재하지 않는다. 끝이야. 정말 이게 전부야.

n = 2일 때를 떠올려 보면 감이 와. 바로 피타고라스 정리잖아. 3² + 4² = 5², 즉 9 + 16 = 25. 5² + 12² = 13², 8² + 15² = 17² 처럼 정수 해가 줄줄이 나와. 이런 정수 세 쌍을 피타고라스 수(피타고라스 세 쌍)라고 부르고, 사실 무한히 많아. 고대 바빌로니아의 점토판 '플림프턴 322'에도 이런 수 목록으로 해석되는 기록이 남아 있을 정도로 인류는 오래전부터 이 수들을 알고 있었어.

그런데 지수를 딱 하나만 올려서 n = 3으로 만들면? x³ + y³ = z³. 즉 정육면체 두 개의 부피를 더해 딱 정수 크기의 정육면체 하나를 만드는 일이 절대로 불가능하다는 거야. n = 4, 5, 100, 1억… 어떤 n이든 마찬가지래. 이걸 "증명"하는 게 문제였어.

재밌는 건 위 그림처럼 "아깝게 빗나가는" 경우는 꽤 있다는 거야. 6³ + 8³ = 728인데 9³ = 729라서 딱 1이 모자라. 이런 걸 수학자들은 니어 미스(near miss)라고 불러. 미국 애니메이션 〈심슨 가족〉의 1995년 할로윈 에피소드에는 1782¹² + 1841¹² = 1922¹²라는 식이 배경에 슬쩍 등장하는데, 일반 계산기로 두드리면 앞자리 열 자리 정도가 똑같이 나와서 "어? 반례인가?" 싶게 만들어. 물론 실제로는 다른 값이야. 좌변은 홀수의 12제곱(홀수)과 짝수의 12제곱(짝수)을 더한 홀수인데, 우변은 짝수의 12제곱이라 짝수거든. 홀짝만 봐도 바로 탈락이지. 이런 장난이 가능할 만큼 이 정리는 대중문화 속에서도 "전설의 난제"였던 거야.

2. 주인공 피에르 드 페르마, 취미로 수학하던 법조인

피에르 드 페르마(Pierre de Fermat)는 1600년대 초에 태어나 1665년에 세상을 떠난 프랑스 사람이야(출생 연도는 1601년설과 1607년 무렵설이 함께 전해져). 놀랍게도 그의 본업은 수학자가 아니었어. 프랑스 남부 툴루즈 고등법원의 법관(판사급 관리)이었지. 낮에는 재판 서류를 보고, 퇴근 후에는 수학 문제를 풀던, 말하자면 역사상 가장 위대한 '취미 수학자'였던 거야.

그런데 이 아마추어의 업적이 장난이 아니야.

특히 페르마의 소정리(p가 소수이고 a가 p의 배수가 아니면 a^(p−1)을 p로 나눈 나머지는 1)는 오늘날 우리가 인터넷 쇼핑할 때 쓰는 RSA 암호의 수학적 바탕이 되는 핵심 정리 중 하나야. 수백 년 전 법관의 취미가 지금 네 스마트폰 결제를 지켜주고 있는 셈이지.

다만 페르마에게는 독특한 습관이 있었어. 증명을 거의 공개하지 않았다는 거야. 편지로 다른 수학자들에게 "나는 이걸 증명했는데, 너도 한번 풀어봐" 하는 식으로 도발만 하고 정작 풀이는 안 보여주는 일이 잦았지. 덕분에 동시대 수학자들은 꽤나 약이 올랐을 거야.

3. 문제의 그 여백: 『아리스메티카』와 아들의 출판

페르마가 아끼던 책은 디오판토스의 『아리스메티카(Arithmetica, 산술)』였어. 정확히는 1621년 클로드 가스파르 바셰가 그리스어 원문과 라틴어 번역을 함께 실어 펴낸 판본이야. 페르마는 이 책을 읽으며 여백에 자기 생각을 메모하는 습관이 있었어.

제2권 8번 문제는 "주어진 제곱수를 두 제곱수의 합으로 나누어라"라는 내용이었어. 즉 피타고라스 수 관련 문제야. 그 옆 여백에 페르마가 라틴어로 이렇게 적었어.

이 메모가 세상에 알려진 건 페르마가 죽은 뒤야. 그의 아들 클레망 사뮈엘 드 페르마가 1670년, 아버지의 여백 메모들을 함께 실은 『아리스메티카』 새 판본을 출간했거든. 페르마 원본 책은 지금 전해지지 않아서, 우리가 아는 문구는 이 아들의 판본을 통해 전해진 거야.

그런데 왜 '마지막' 정리일까? 페르마가 여백에 남긴 여러 주장들은 후대 수학자들이 하나씩 증명하거나(혹은 틀렸음을 밝히거나) 정리해 나갔는데, 이 명제만 끝까지 해결되지 않고 마지막까지 남아서 그렇게 불리게 됐어. 엄밀히 말하면 증명되기 전까지는 '정리'가 아니라 '추측'이었는데, 이름은 그냥 관습처럼 굳어진 거지.

4. 페르마가 직접 남긴 유일한 실마리: n = 4와 무한강하법

재미있게도 페르마는 이 정리의 n = 4인 경우에 대해서는 실제 증명의 아이디어를 남겼어. "넓이가 제곱수가 되는 직각삼각형(변이 모두 정수)은 존재하지 않는다"는 정리를 증명하면서 그 방법을 썼는데, 여기서 x⁴ + y⁴ = z⁴ 에 해가 없다는 결론이 따라 나와. (실제로는 더 강하게 x⁴ + y⁴ = z² 조차 정수 해가 없다는 걸 보일 수 있어.)

그가 쓴 무기가 바로 무한강하법(infinite descent)이야. 원리는 이래.

마치 "지하로 끝없이 내려가는 계단"이 있다고 가정했는데, 건물엔 지하 바닥이 분명히 있으니 그런 계단은 있을 수 없다는 논리야. 이 방법은 지금도 정수론에서 아주 사랑받는 기법이야.

n = 4가 해결되면서 엄청 중요한 결과가 하나 따라와. 바로 "n이 홀수인 소수일 때만 증명하면 된다"는 거야. 왜냐고? 예를 들어 n = 12라고 해봐. 12 = 4 × 3이니까 x¹² + y¹² = z¹² 는 (x³)⁴ + (y³)⁴ = (z³)⁴ 로 쓸 수 있잖아. n = 4에 해가 없으니 n = 12도 자동으로 해가 없어. 마찬가지로 n = 15라면 (x⁵)³ + (y⁵)³ = (z⁵)³ 처럼 3의 경우로 바꿀 수 있어.

5. 한 칸씩 전진하던 시대: 오일러부터 쿠머까지

페르마 이후 약 200년 동안 수학자들은 지수를 하나씩 정복해 나갔어. 등산으로 치면 봉우리를 하나씩 오른 셈인데, 문제는 산맥에 봉우리가 무한히 많다는 거였지.

오일러와 복소수의 등장

오일러는 n = 3을 다루면서 a + b√−3 꼴의 수, 즉 복소수가 섞인 수 체계를 활용했어. 정수만으로 꽉 막힌 문제를 더 넓은 수의 세계로 옮겨서 푸는 이 아이디어는 훗날 정수론의 판도를 바꾸는 열쇠가 돼. "정수 문제를 풀려면 정수 밖으로 나가야 한다"는 역설적인 교훈이지.

소피 제르맹, 남장을 하고 수학을 한 여성

이 이야기에서 꼭 기억해야 할 인물이 소피 제르맹(Sophie Germain)이야. 18~19세기 프랑스에서 여성은 대학 교육을 받기 어려웠어. 그래서 그녀는 에콜 폴리테크니크의 강의 노트를 구해 독학하고, '르블랑'이라는 남성의 이름으로 과제를 제출하기도 했어. 라그랑주는 그 답안의 탁월함에 놀라 직접 만나고 싶어 했고, 정체를 알게 된 뒤에도 그녀를 격려했다고 전해져. 가우스와도 남성 가명으로 편지를 주고받았지.

제르맹은 페르마의 마지막 정리를 특정 지수 하나가 아니라 여러 소수를 한꺼번에 다루는 방식으로 접근한 선구자였어. 그녀의 이름을 딴 소피 제르맹 소수는 p와 2p + 1이 둘 다 소수인 p를 말해(예: 2, 3, 5, 11, 23…). 그녀의 정리는 이런 조건을 만족하는 소수 p에 대해, x, y, z 중 어느 것도 p로 나누어떨어지지 않는 '첫 번째 경우'에는 해가 없음을 보여줬어. 개별 봉우리가 아니라 산맥의 한 구역 전체를 다루려 한 최초의 진지한 시도였던 셈이야.

1847년 파리, 증명 경쟁과 충격의 반전

1847년 파리 과학 아카데미에서 드라마가 펼쳐져. 라메가 "일반 증명을 거의 완성했다"고 발표했고, 코시도 비슷한 방법으로 증명을 마무리 중이라고 나섰어. 둘의 아이디어는 xⁿ + yⁿ 을 복소수 범위에서 인수분해하는 거였어.

여기서 ζ(제타)는 1의 p제곱근, 즉 ζᵖ = 1 을 만족하는 복소수야. 이렇게 쪼갠 다음, "정수에서처럼 이 새로운 수 체계에서도 소인수분해가 딱 한 가지 방법으로만 된다"는 사실을 이용하면 증명이 완성된다고 생각했지.

그런데 조제프 리우빌이 날카롭게 지적했어. "그 수 체계에서 소인수분해가 유일하다는 보장이 있나요?" 그리고 독일의 에른스트 쿠머가 이미 몇 년 전에 그런 수 체계에서는 소인수분해가 유일하지 않을 수 있다는 사실을 밝혀두었다는 게 알려졌어. 증명의 기둥이 무너진 거야.

쿠머의 반격: 이상수와 정칙 소수

쿠머는 실패에서 멈추지 않았어. 깨진 소인수분해의 유일성을 되살리기 위해 '이상수(ideal number)'라는 개념을 고안했어. 이건 훗날 데데킨트가 아이디얼(ideal)이라는 개념으로 다듬어 현대 대수학의 핵심 도구가 돼. 지금 대학 수학과에서 배우는 '환론'의 상당 부분이 사실 페르마 문제에서 싹튼 거야.

쿠머는 이 도구로 '정칙 소수(regular prime)'라고 불리는 소수들에 대해 페르마의 마지막 정리를 한꺼번에 증명했어. 100보다 작은 홀수 소수 중에서는 37, 59, 67만 정칙 소수가 아니어서, 나머지 소수들은 모두 해결됐지. 하지만 정칙 소수가 무한히 많은지는 지금까지도 증명되지 않았어(오히려 정칙이 아닌 소수가 무한히 많다는 건 알려져 있어). 그러니 이 방법으로는 정리 전체를 끝낼 수 없었어.

이후 수학자들은 컴퓨터의 힘까지 빌려, 20세기 후반에는 수백만 이하의 모든 소수 지수에 대해 정리가 성립함을 확인했어. 하지만 수학에서 "아주 많이 확인했다"는 "증명했다"와 완전히 다른 얘기야. 1억 개를 확인해도 1억 1번째에서 반례가 나오면 끝이니까.

6. 상금, 오답의 산, 그리고 '페르마 병'

1908년 독일의 사업가이자 수학 애호가 파울 볼프스켈은 유언으로 이 정리를 증명하는 사람에게 10만 마르크를 주라는 상금을 걸었어. 마감 기한은 2007년 9월 13일까지였지. 당시로서는 엄청난 거금이라 괴팅겐 대학에는 아마추어들의 "증명"이 산더미처럼 쏟아졌어.

대부분은 초보적인 실수를 담고 있었고, 괴팅겐의 수학자들은 이를 처리하느라 진땀을 뺐어. 유명한 일화로, 수학자 에드문트 란다우는 "첫 번째 오류는 ___쪽 ___번째 줄에 있습니다"라는 문구가 인쇄된 답장 양식을 만들어 학생들에게 빈칸을 채워 보내게 했다고 전해져.

이 상금은 두 차례 세계대전과 독일의 극심한 인플레이션을 거치며 가치가 크게 줄었고, 결국 1997년 와일스에게 수여됐을 때는 처음의 위상과 비교하면 상징적인 의미가 더 큰 금액이 됐어. 그래도 "약 90년 만에 주인을 찾은 상금"이라는 사실만으로도 충분히 낭만적이지?

이 시기 수학계에는 은근한 분위기가 있었어. 페르마의 마지막 정리는 너무 유명하고 너무 어려워서, 직업 수학자가 이 문제에 매달린다고 하면 경력을 날리는 위험한 도박처럼 여겨졌지. 한번 빠지면 헤어나오지 못한다는 뜻으로 '페르마 병'이라고 농담하는 사람도 있었어. 실제로 20세기 중반까지 주류 수학자들은 이 문제를 "아름답지만 고립된 퍼즐"로 보는 경향이 있었어. 수학의 큰 흐름과 연결되지 않은, 그냥 혼자 덩그러니 놓인 산봉우리 말이야.

그런데 이 고립된 봉우리가 사실은 거대한 산맥의 정상과 땅속으로 이어져 있었다는 게 밝혀지면서 이야기가 완전히 뒤집혀. 그 지하 터널의 이름이 타원곡선과 모듈러 형식이야.

7. 새로운 주인공 1: 타원곡선

"타원곡선"이라는 이름을 들으면 타원을 떠올리기 쉬운데, 사실 타원과는 생김새가 거의 상관없어. 타원의 둘레 길이를 계산하는 적분(타원적분)을 연구하다가 등장한 곡선이라 이런 이름이 붙었을 뿐이야.

타원곡선은 대체로 이런 꼴의 방정식으로 표현돼.

(단, 곡선에 뾰족한 점이나 스스로 교차하는 점이 없도록 4a³ + 27b² ≠ 0 이라는 조건이 붙어.) 예를 들어 y² = x³ − x 를 그려보면 이렇게 생겼어.

타원곡선이 수학자들을 사로잡은 이유는 크게 두 가지야.

첫째, 점들끼리 '더할' 수 있어. 곡선 위의 두 점을 직선으로 이은 뒤, 그 직선이 곡선과 만나는 세 번째 점을 x축에 대해 뒤집으면 새로운 점이 나와. 이걸 두 점의 "합"으로 정의하면, 곡선 위의 점들이 덧셈 구조(수학 용어로 군)를 이뤄. 이 성질은 지금 타원곡선 암호(ECC)로 응용돼서, 비트코인 같은 암호화폐와 각종 보안 통신에 실제로 쓰이고 있어.

둘째, 정수론적 비밀을 품고 있어. 타원곡선의 방정식을 소수 p로 나눈 나머지 세계에서 생각해 보는 거야. 예를 들어 p = 5라면, x와 y를 0, 1, 2, 3, 4 중에서 골라 방정식을 만족하는 쌍이 몇 개인지 세는 거지. 소수마다 이 개수를 세서 쭉 늘어놓으면 하나의 수열이 나와. 이 수열이 타원곡선의 일종의 "DNA" 역할을 해.

8. 새로운 주인공 2: 모듈러 형식

모듈러 형식은 설명하기가 좀 더 어려워. 복소평면의 위쪽 절반(허수부가 양수인 부분)에서 정의된 함수인데, 엄청나게 많은 대칭성을 가진 함수라고 생각하면 돼.

보통 대칭이라고 하면 좌우대칭, 회전대칭 정도를 떠올리지? 모듈러 형식은 특정한 분수 변환 z → (az + b)/(cz + d) (a, b, c, d는 정수, ad − bc = 1) 아래에서 정해진 규칙대로 변하는, 상상 이상으로 촘촘한 대칭을 가져. 에스허르(에셔)의 판화처럼 무한히 반복되는 무늬를 떠올리면 느낌이 비슷해.

독일 수학자 마르틴 아이힐러의 말로 자주 인용되는 농담이 있어. "수학에는 다섯 가지 기본 연산이 있다. 덧셈, 뺄셈, 곱셈, 나눗셈, 그리고 모듈러 형식." 그만큼 신기하고 강력한 대상이라는 뜻이지.

그리고 중요한 사실! 모듈러 형식도 푸리에 급수처럼 계수들의 수열로 펼칠 수 있어. 이 계수들 역시 모듈러 형식의 "DNA"인 셈이야.

9. 1955년 도쿄의 대담한 예측: 다니야마–시무라 추측

1955년 도쿄와 닛코에서 열린 국제 학술 심포지엄에서 젊은 일본 수학자 다니야마 유타카는 몇 개의 연구 문제를 제시했어. 그 안에는 타원곡선과 모듈러 형식 사이에 깊은 관계가 있을 것이라는 대담한 아이디어가 담겨 있었지. 이후 그의 동료이자 친구인 시무라 고로가 이 생각을 더 정확한 형태로 다듬었어. 앙드레 베유도 이와 관련된 연구로 이 추측을 널리 알리는 데 영향을 줘서, 이 추측은 다니야마–시무라 추측, 혹은 다니야마–시무라–베유 추측이라고 불려. 지금은 증명되어 모듈러성 정리라고 불러.

이게 얼마나 황당한 주장이냐면, 비유하자면 "지구의 모든 사람에게는 화성 어딘가에 지문이 완벽히 똑같은 쌍둥이가 반드시 있다"고 말하는 것과 비슷해. 서로 전혀 다른 수학 분야의 두 대상이 하나도 빠짐없이 짝을 이룬다는 거니까. 당시 많은 수학자가 반신반의했지만, 확인할 수 있는 예시마다 신기하게도 다 맞아떨어졌어.

안타깝게도 다니야마는 1958년, 서른한 살의 젊은 나이에 스스로 생을 마감했어. 자신의 아이디어가 수학사를 뒤흔들 날을 보지 못한 거지. 시무라는 이후 미국 프린스턴에서 오랫동안 활동하며 이 분야를 이끌었어.

이 추측은 1960~70년대에 걸쳐 수학자 로버트 랭글랜즈가 구상한 거대한 랭글랜즈 프로그램(정수론, 대수기하, 표현론을 하나로 잇는 대통일 이론 같은 구상)의 일부로도 여겨지면서 점점 무게가 커졌어. 하지만 그 시점까지도 페르마의 마지막 정리와는 아무 상관 없어 보였어. 적어도 1984년까지는.

10. 1984년, 페르마와 타원곡선이 만나다: 프라이 곡선

1984년 독일 수학자 게르하르트 프라이는 기막힌 상상을 했어. "만약 페르마 정리에 반례가 있다면 어떻게 될까?"

p가 5 이상인 소수이고, aᵖ + bᵖ = cᵖ 를 만족하는 양의 정수 a, b, c가 있다고 가정해 보자. 그러면 이 반례로 다음과 같은 타원곡선을 만들 수 있어.

이걸 프라이 곡선(Frey curve)이라고 불러. 프라이가 이 곡선을 들여다보니 성질이 너무나 기묘했어. 타원곡선의 특성을 재는 핵심 값인 판별식이 대략 (abc)²ᵖ 꼴, 즉 완전한 p제곱수의 형태로 정리되는데, 이게 일반적인 타원곡선에서는 보기 힘든 지나치게 '깔끔한' 구조였거든. 프라이는 이 곡선이 너무 이상해서 모듈러 형식과 짝을 이룰 수 없을 것이라고 주장했어.

자, 여기서 논리의 퍼즐이 맞춰지기 시작해.

프라이의 초기 논증은 완벽하지 않았어. 장피에르 세르가 이 부분을 정밀한 추측(엡실론 추측이라고도 불러)으로 정리했고, 그걸 증명하는 일이 남게 됐지.

11. 1986년, 켄 리벳의 결정타

1986년 미국 캘리포니아 대학교 버클리의 수학자 켄 리벳이 마침내 B단계를 증명했어. 즉 "프라이 곡선은 모듈러가 될 수 없다"는 걸 엄밀하게 보인 거야. 리벳이 이 문제의 마지막 퍼즐 조각을 하버드의 배리 메이저와 커피를 마시며 대화하던 중 깨달았다는 일화는 유명해. 메이저가 "그 조건은 이미 다 갖춰졌잖아"라는 식으로 짚어주자 리벳이 깜짝 놀랐다고 하지.

리벳의 증명 이후 상황은 이렇게 정리됐어.

12. 열 살 소년의 꿈: 앤드루 와일스

여기서 진짜 주인공이 등장해. 앤드루 와일스(Andrew Wiles)는 1953년 영국 케임브리지에서 태어났어. 열 살 무렵 동네 도서관에서 에릭 템플 벨의 책 『마지막 문제(The Last Problem)』를 읽고 페르마의 마지막 정리를 처음 알게 됐대. 그는 훗날 인터뷰에서 이렇게 회상했어. 이렇게 단순해 보이는 문제를 300년 넘게 아무도 풀지 못했다는 사실에 매료됐고, 그 순간 이 문제를 절대 놓지 않겠다고 다짐했다고.

그런데 와일스는 현명했어. 대학원에 들어가 지도교수 존 코츠와 함께 연구한 분야는 바로 타원곡선이었어. 당시엔 페르마와 직접 관련이 없어 보이는 분야였지만, 결과적으로 그는 운명처럼 딱 맞는 무기를 갈고닦은 셈이야. 이후 그는 미국 프린스턴 대학교 교수가 되어 타원곡선과 이와사와 이론 분야에서 실력을 인정받는 수학자가 됐어.

1986년 여름, 친구의 집에서 차를 마시다가 리벳이 프라이 곡선과 관련된 결과를 증명했다는 소식을 들은 와일스는 전율을 느꼈다고 해. 어릴 적 꿈이 드디어 현대 수학의 정식 연구 주제가 된 순간이었으니까.

7년간의 비밀 연구

와일스는 그날부터 이 문제에 모든 것을 걸었어. 그리고 독특한 결정을 내렸지. 아무에게도 알리지 않기로. 유명한 난제를 연구한다고 알려지면 관심과 압박이 쏟아질 거고, 집중이 흐트러질 테니까. 그는 이미 진행 중이던 다른 연구 결과를 조금씩 나눠 발표하면서, 겉으로는 평소처럼 활동하는 것처럼 보이게 했대. 이 비밀을 아는 사람은 아내 나다를 포함해 극소수뿐이었어. 나중에는 프린스턴 동료 닉 카츠에게 털어놓고, 대학원 강의를 하는 형식을 빌려 증명의 일부를 점검받기도 했어. 그 강의는 너무 어렵고 목적이 불분명해서 수강생들이 하나둘 빠져나가고 결국 카츠만 남았다는 일화가 전해져.

와일스가 목표로 삼은 건 다니야마–시무라 추측 전체가 아니라, 프라이 곡선이 속하는 '준안정(semistable) 타원곡선'에 대한 모듈러성이었어. 이것만 증명해도 페르마는 끝나니까. 전략의 핵심은 대략 이랬어.

④번 단계를 위해 와일스는 처음엔 이와사와 이론을 시도했다가 막혔고, 이후 콜리바긴과 플라흐가 개발한 방법(오일러 계)을 확장해 돌파하려 했어. 1993년 봄, 그는 마침내 모든 퍼즐이 맞춰졌다고 확신했어.

13. 1993년 6월 23일, 케임브리지의 기립박수

와일스는 증명 발표 장소로 고향 영국 케임브리지의 아이작 뉴턴 수리과학 연구소를 택했어. 1993년 6월, 그는 사흘에 걸쳐 연속 강연을 했는데, 강연 제목은 "모듈러 형식, 타원곡선, 그리고 갈루아 표현"이라는 식의 담담한 것이었어. 페르마의 '페' 자도 없었지.

하지만 소문은 퍼졌어. 강연이 진행될수록 청중은 점점 늘어났고, 마지막 날인 6월 23일에는 강의실이 꽉 찼어. 와일스는 칠판에 마지막 줄을 쓰며 페르마의 마지막 정리가 따라 나온다는 걸 보였고, 이렇게 말했어.

강의실은 박수로 가득 찼고, 이 소식은 다음 날 세계 주요 신문 1면을 장식했어. 수학 증명이 국제 뉴스가 된, 정말 보기 드문 사건이었지.

14. 그런데… 증명에 구멍이 있었다

해피엔딩? 아직 아니야. 와일스의 원고는 200쪽 가까이 되는 방대한 분량이었고, 학술지에 실리기 전에 여러 전문가가 나눠서 꼼꼼히 검토했어. 그중 한 부분을 맡은 사람이 바로 그 친구, 닉 카츠였어.

1993년 여름, 카츠는 원고를 검토하면서 와일스에게 질문을 보냈어. 처음엔 사소한 보충 설명 정도로 보였지만, 와일스가 답을 하려고 들여다볼수록 문제가 심각하다는 게 드러났어. 앞서 말한 ④번 단계, 즉 콜리바긴–플라흐 방법을 확장한 크기 제한(상한) 논증이 일반적인 경우에는 성립한다고 보장할 수 없었던 거야.

와일스는 몇 달 동안 이 구멍을 메우려 몸부림쳤어. 소문은 퍼져나갔고, "증명이 틀렸다더라"는 이야기가 수학계를 돌았지. 7년 동안 혼자 지켜온 비밀 연구가 이제는 세상의 눈앞에서 무너지는 걸 지켜봐야 하는 상황이었어. 와일스는 그 시기를 인생에서 가장 고통스러운 시간 중 하나로 회상했어.

1994년 초, 와일스는 케임브리지 시절 자신의 제자였던 젊은 수학자 리처드 테일러를 프린스턴으로 불러 함께 구멍을 메우는 작업에 돌입했어. 그래도 진전은 쉽지 않았어. 여름이 지나도록 해결책이 보이지 않자, 와일스는 거의 포기하려 했다고 해.

15. 1994년 9월 19일, 실패한 방법 속에서 찾은 열쇠

와일스는 포기하기 전에 마지막으로, 왜 콜리바긴–플라흐 방법이 안 되는지만이라도 정확히 이해하고 넘어가자고 마음먹었어. 그리고 1994년 9월 19일 아침, 책상에서 그 원인을 들여다보던 중 섬광처럼 깨달음이 찾아왔어.

콜리바긴–플라흐 방법이 실패하는 바로 그 지점이, 사실 자신이 3년 전쯤 버렸던 이와사와 이론 접근법이 잘 작동하는 데 필요한 조건을 정확히 채워주고 있었던 거야. 두 방법 다 혼자서는 불완전했지만, 둘을 결합하면 서로의 약점을 정확히 메워주는 구조였던 거지. 와일스는 훗날 이 순간을 "믿을 수 없을 만큼 아름다웠다"고, 너무 단순하고 우아해서 한참을 그저 바라보았다고 회상했어.

16. 1995년, 논문 두 편으로 마침표

수정된 증명은 두 편의 논문으로 정리됐어.

두 논문은 1995년 5월, 세계 최고 권위의 수학 학술지 중 하나인 『애널스 오브 매스매틱스(Annals of Mathematics)』 제141권에 함께 실렸어. 이번에는 검토에서도 큰 문제가 발견되지 않았고, 수학계는 마침내 이 증명을 받아들였어.

1637년 무렵의 여백 메모부터 1995년의 출판까지, 정확히 358년. 이게 바로 우리 제목에 붙은 숫자야.

17. 증명의 전체 구조, 한 장으로 다시 보기

여기까지 오면 머릿속이 좀 복잡할 수 있으니, 와일스 증명의 논리 흐름을 한 번 깔끔하게 정리해 볼게.

재밌는 점은, 페르마의 마지막 정리 자체는 이 거대한 구조의 '부산물'처럼 떨어졌다는 거야. 와일스가 실제로 증명한 것은 "준안정 타원곡선의 모듈러성"이라는, 훨씬 넓고 깊은 수학적 사실이었어. 수학자들이 이 증명을 더 높이 평가하는 이유도 여기 있어. 단지 오래된 퍼즐 하나를 푼 게 아니라, 두 수학 세계 사이에 튼튼한 다리를 놓은 거니까.

18. 그 뒤의 이야기: 상, 기사 작위, 그리고 남은 유산

와일스는 이 업적으로 수많은 상을 받았어. 그중 특히 흥미로운 이야기가 필즈상이야. 필즈상은 '수학의 노벨상'이라고도 불리는데, 수상 조건이 40세 이하야. 와일스가 최종 증명을 완성했을 때 이미 40세를 넘겨서 정식 필즈상은 받을 수 없었어. 그래서 1998년 국제수학자대회(ICM)는 그에게 이례적으로 특별 은판(silver plaque)을 수여했어. 규정을 바꾸진 않되 업적은 기리고 싶었던 거지.

와일스의 제자이자 공동 저자였던 리처드 테일러도 이후 정수론의 거장으로 성장해, 랭글랜즈 프로그램과 관련된 여러 굵직한 정리를 증명했어. 페르마 문제를 풀기 위해 개발된 기법들, 특히 "모듈러성 리프팅 정리"와 테일러–와일스 방법은 오늘날 정수론 연구의 표준 도구가 됐어. 한 문제를 푸는 과정에서 만든 연장이 다음 세대 수학자들이 쓰는 공구함이 된 셈이야.

컴퓨터로 증명 검증하기

최근에는 또 다른 흐름도 있어. 영국 임페리얼 칼리지 런던의 수학자 케빈 버자드는 증명 보조 소프트웨어 린(Lean)을 이용해 페르마의 마지막 정리 증명을 컴퓨터가 한 줄 한 줄 검증할 수 있는 형태로 옮기는 장기 프로젝트를 2024년에 시작했어. 사람이 쓴 수백 쪽짜리 증명을 기계가 논리적으로 빈틈없이 확인하게 만들겠다는 야심 찬 시도지. 와일스의 증명이 1993년에 구멍을 품었다가 고쳐졌던 역사를 생각하면, 이런 형식 검증이 왜 중요한지 실감 나지?

이런 증명 보조 도구에서는 수학적 명제를 대략 아래처럼 코드로 표현해. (실제 프로젝트의 정확한 문장 형태와는 다를 수 있는, 개념을 보여주기 위한 예시야.)

-- 개념 예시: 3 이상의 n에 대해 양의 정수 해가 없다
theorem fermat_last (n : ℕ) (hn : 3 ≤ n) (x y z : ℕ)
    (hx : 0 < x) (hy : 0 < y) (hz : 0 < z) :
    x ^ n + y ^ n ≠ z ^ n := by
  sorry -- 여기를 수백~수천 단계의 검증된 증명으로 채우는 것이 목표

마지막 줄의 sorry는 "아직 증명 안 됨"이라는 뜻의 자리표시자야. 정리 하나를 진술하는 건 몇 줄이면 되지만, 그 아래를 채우는 데는 엄청난 양의 수학 라이브러리가 필요해. 358년의 역사를 기계의 언어로 옮기는 또 하나의 긴 여정이 시작된 거지.

19. 비슷하게 생겼지만 아직 안 풀린 사촌 문제들

페르마의 마지막 정리가 풀렸다고 정수론의 모험이 끝난 건 아니야. 오히려 이 문제와 닮은 꼴의 난제들이 여전히 수학자들을 기다리고 있어.

그리고 이미 해결된 의미 있는 결과도 하나 더 있어. 1983년 독일 수학자 게르트 팔팅스는 모델 추측을 증명했는데, 그 결과로 "각각의 n ≥ 3에 대해 xⁿ + yⁿ = zⁿ 의 (공약수 없는) 정수해는 있더라도 유한 개뿐"이라는 사실이 따라 나왔어. 와일스 이전에도 "해가 무한히 많을 수는 없다"는 것까진 알려져 있었던 거지. 팔팅스는 이 업적으로 1986년 필즈상을 받았어. 다만 "유한 개"와 "0개" 사이의 간격을 메운 건 결국 와일스였어.

20. 흔히 하는 오해들, 깔끔하게 정리

21. 358년이 우리에게 남긴 것

페르마의 마지막 정리 이야기를 처음부터 끝까지 따라오면, 이건 단순한 "문제 풀이 성공담"이 아니라는 걸 느끼게 돼.

첫째, 실패는 낭비가 아니었어. 라메와 코시의 틀린 증명은 쿠머의 이상수를 낳았고, 그건 현대 대수학의 아이디얼 이론이 됐어. 와일스의 1993년 결함은 1994년 더 아름다운 해법으로 이어졌지. 358년 동안 쌓인 수많은 시도와 실패가 없었다면 와일스의 증명도 불가능했어.

둘째, 수학은 연결의 학문이야. 고립된 퍼즐처럼 보였던 문제가 타원곡선, 모듈러 형식, 갈루아 표현이라는 전혀 다른 세계와 연결되면서 비로소 풀렸어. 오늘날 수학자들이 랭글랜즈 프로그램처럼 서로 다른 분야를 하나로 잇는 거대한 구상에 열광하는 이유도 여기 있어.

셋째, 집착에 가까운 꿈이 역사를 바꾼다. 열 살 소년이 도서관에서 만난 한 문제를 30년 넘게 마음에 품었고, 7년의 비밀 연구와 1년여의 좌절을 견딘 끝에 답을 찾았어. 무언가를 진심으로 오래 붙잡는 힘. 그게 수학이든, 음악이든, 디자인이든, 재능넷에서 자신의 기술을 갈고닦는 누구에게든 통하는 이야기 아닐까?

다음에 누가 "여백이 부족해서 못 적었어"라는 농담을 하면, 이제 넌 그 뒤에 숨은 358년의 이야기를 술술 풀어줄 수 있을 거야. 페르마가 남긴 건 증명이 아니라, 인류 전체를 끌어당긴 거대한 질문이었으니까. 📜✨