OpenAI, 수학 난제 증명 논문 700여 편 일괄 공개…전 세계 수학계 ‘충격과 반발’

2026년 10월 6일, OpenAI가 GitHub에 700여 편의 논문 원고를 업로드하며, 오랜 세월 풀리지 않던 수백 개의 수학 미해결 난제를 단 한 번의 공개로 해결했다고 주장했다. 이번 대규모 공개는 2026년 중반부터 이어진 일련의 획기적 성과(단위 거리 추측(Unit Distance Conjecture), 나비에-스토크스(Navier-Stokes) 방정식의 진전, OpenAI의 Astra 모델과 함께 공개된 10개의 해법 등)에 뒤이어 나온 것이다.

이번 공개는 학계에 거센 충격파를 던졌다. 100명이 넘는 연구자들은 수학 블로그 'Proofs and Prompts'에 지적 호기심부터 무기력감, 슬픔, 그리고 학문 분야가 파괴되는 것에 대한 분노에 이르기까지 다양한 반응을 공유했다.

석학들의 망연자실한 반응

공개된 성과의 압도적인 규모에 저명한 학자들도 당혹감을 감추지 못했다. 2022년 필즈상 수상자인 위고 뒤미닐코팽(Hugo Duminil-Copin)은 자신이 연구 경력 내내 공개적으로 논의해 온 모든 주요 미해결 문제에 대해 OpenAI가 결과를 내놓았다고 주장했다고 밝혔다. 뒤미닐코팽은 "충격이 엄청나다. 몸이 굳어버린 것 같다"라며 "내일이면 앞으로 나아갈 길을 찾겠지만, [...] 지금은 그저 기운이 전혀 나지 않는다"라고 적었다.

벤 그린(Ben Green)은 자신이 불과 몇 달 전인 6월에 수주한 권위 있는 유럽 연구 지원 과제에 명시된 연구 목표 중 약 4분의 3이 이번 발표로 해결된 것으로 보인다고 언급했다. 로만 자우어(Roman Sauer)는 자신이 수년간 개발해 온 기법을 OpenAI가 완전히 다른 두 가지 문제를 해결하는 데 적용했음을 확인했다.

알바로 로사노로블레도(Alvaro Lozano-Robledo)는 10월 6일을 "어쩌면 지금까지의 수학사에서 가장 중요한 단 하루일 것"이라고 평가하면서도, 해당 모델들에 여전히 한계가 존재한다고 지적했다. OpenAI가 리만 가설(Riemann Hypothesis)을 겨냥했으나, 준리만 가설(quasi-RH)로 알려진 더 약한 변형 형태를 해결하는 데 그쳤다는 설명이다.

테렌스 타오(Terence Tao)는 기계가 생성한 증명이 "소화되고 나면 유익할 기발하고 새로운 아이디어를 도입한 것으로 보인다"라면서도, 연구 결과를 발표하고 토론하며 가르칠 인간 동료가 없다는 점에 깊은 좌절감을 표하며 복잡한 심경을 드러냈다. 타오는 앞서 문제 해결 그 자체만이 학문의 유일한 초점이 될 수 없는 새로운 '수학 2.0(Math 2.0)' 시대를 제시한 바 있다.

가독성에 대한 의구심과 학술적 규범 논란

GitHub에 업로드된 결과물의 수학적 타당성을 온전히 검증하는 작업은 여전히 난제로 남아 있다. 이미 일부 논문은 철회되었으며, 가독성이 극히 떨어진다는 비판을 받는 논문들도 나타났다.

자신의 박사학위 논문 핵심 문제를 OpenAI가 해결했다고 주장한 것을 확인한 박사과정생 트리스탄 험버트(Tristan Humbert)는 포닥(박사후연구원) 지원에 대한 두려움으로 패닉에 빠졌으나, 해당 논문이 "대부분 읽을 수조차 없는 조잡한 쓰레기(slop)"에 불과하다는 것을 알고 분노로 바뀌었다고 토로했다.

엔리코 파티겐티(Enrico Fatighenti)는 수학계가 다듬어지지 않은 AI 결과물을 해독해야 하는 부당한 부담을 떠안고 있다고 주장했다. 인간 연구자가 제출한 논문의 도입부가 읽을 수 없을 정도로 엉망이라면 즉각 반려되겠지만, 지금은 연구자들이 AI 논문을 해독하라는 압박을 받는 반면 공로는 OpenAI가 독식하고 있다는 것이다. 헨리 윌턴(Henry Wilton)은 OpenAI가 저자 이름이나 실패율을 명시하지 않은 점을 비판하며, 이러한 생략은 "수학이 더 이상 인간의 노력과 결실이 아님을 시사한다"라고 지적했다.

이언 아골(Ian Agol)은 이번 발표를 수학자 팀들이 누락된 증명 단계를 재구성하는 데 수년이 걸렸던 그리고리 페렐만(Grigori Perelman)의 2002년 증명에 비유하며, "1조 달러 규모의 기업이 나타나 전체를 TNT로 폭파해 버린 꼴"이라고 덧붙였다. 맷 자렘스키(Matt Zaremsky) 역시 하나의 문제에 매달렸던 4년간의 꾸준한 연구가 마치 고고학적 발굴 현장이었는데 갑자기 폭약으로 산산조각 난 것 같다는 비슷한 심정을 전했다.

사이버 보안 경고와 신진 연구자들의 불안

OpenAI 연구가 미치는 파장은 순수 이론 수학의 영역을 넘어선다. 필즈상 수상자인 페터 숄체(Peter Scholze)는 수학이란 인간의 이해를 중심으로 한 마라톤이라며 인내를 촉구했다. 그러나 숄체는 디지털 인프라에 대한 우려도 함께 제기하며, 해당 시스템이 널리 쓰이는 암호화 기법을 무력화하는 알고리즘을 발견할 역량을 갖췄을 수 있다고 경고했다.

이번 발표는 신진 연구자들 사이에 극심한 혼란과 불안을 불러일으켰다. 마크 하겐(Mark Hagen)은 발표 당일 프리프린트(사전 공개 논문)를 읽는 것보다 괴로워하는 후배 연구자들의 전화를 받는 일이 우선이었다고 전했다. 미첼 테일러(Mitchell Taylor)는 동료들 사이에 팽배한 불안감과 목표 상실감을 지적했으며, 페트라 슈베어(Petra Schwer)는 연구 커뮤니티 내에서 불신이 커지고 있음을 목격했다고 말했다.

이번 공개에 앞서 '인간 수학 협회(Association for Human Mathematics)'는 과학적 규범을 위반했다는 이유로 OpenAI에 대한 보이콧을 촉구했으며, 타오와 숄체를 포함한 25명의 필즈상 수상자들은 상업적 AI 산업과 순수 학술 수학 간의 불일치를 지적하는 공동 성명을 발표한 바 있다.

Astra와 지속적으로 협업하고 있는 콘스탄틴 코글러(Constantin Kogler)나, Anthropic의 Claude를 활용해 수학적 애니메이션을 코딩한 것을 반긴 대니 칼레가리(Danny Calegari)처럼 소수의 연구자들은 여전히 낙관적인 태도를 유지하고 있다. 그러나 다른 연구자들은 훨씬 암울한 미래를 내다보고 있다. 수학자 마틴 브리드슨(Martin Bridson)은 연구자들이 기업의 발표에 휘둘려서는 안 된다고 경고했다. "우리는 기계가 제공하는 힘을 포용해야 하지만, 기계의 지도를 따르도록 예속되어서는 안 된다."