석학들 "AI 연구 자동화, '지능 폭발' 촉발할 수 있어" 경고

AI 석학들, R&D 자동화 위험성에 잇단 경고

튜링상 수상자인 Geoffrey Hinton과 Yoshua Bengio, 그리고 OpenAI의 연구 총괄인 Jakub Pachocki를 포함한 20여 명의 저명한 인공지능(AI) 연구진이 스스로 발전하는 AI 시스템의 위험성에 대해 공동 경고를 발표했다. 최근 발표된 논문에서 저자들은 인공지능 개발을 자동화하는 것이 통제 불가능한 '지능 폭발(intelligence explosion)'을 촉발할 수 있다고 주의를 당부했다. 연구진은 기존의 불확실성을 인정하면서도 "AI R&D 자동화가 머지않아 이를 촉발할 수 있다"고 강조했다.

수년에 걸친 발전을 수개월로 단축

논문에 따르면, 프론티어 AI를 개발하는 첨단 조직 내부에서는 이미 자동화 시스템이 코드의 대다수를 생성하고 있다. 연구진은 수년 내에 AI 연구개발 워크플로 전체가 완전히 자동화될 수 있을 것으로 전망했다.

R&D 파이프라인이 스스로 작동하게 되면, 통상 수년이 걸리던 기술적 진보가 단 몇 개월 만에 일어날 수 있다. 저자들은 사회가 이 같은 속도를 따라잡지 못해 심각한 위험에 직면할 수 있다고 경고했다. 인간이 초인공지능에 대한 통제력을 상실할 수 있으며, 지정학적 및 기업 간 세력 균형이 빠르게 붕괴될 수 있다는 지적이다. 이에 따라 연구진은 정부 관계자와 규제 당국에 AI 기업들이 내부 연구를 어떻게 자동화하고 있는지 실질적으로 훨씬 더 높은 수준의 가시성을 확보할 것을 촉구하고 있다.

프론티어 연구소 전반으로 번지는 불안감

이번 경고는 최근 인공지능 업계 내부에서 고조되고 있는 일련의 우려와 궤를 같이한다. 최근 저명한 수학자 42명이 AI로 인한 실존적 위협에 더 큰 관심을 기울여야 한다고 촉구한 바 있으며, 여러 연구소 직원들도 통제되지 않는 시스템이 인류를 파멸로 이끌 수 있다는 두려움을 표명해 왔다.

안전 문제는 주요 개발사 내부에서도 주요 화두로 떠오르고 있다. Pachocki는 앞서 "어느 AI 연구소도 앞으로 최고 속도로 책임감 있게 확장을 지속할 수 있을 만큼 얼라인먼트(정렬)에서 충분한 진전을 이루지 못했다"고 밝힌 바 있다. 통제되지 않는 기술 발전에 대한 불안감이 확산되면서, 경쟁사인 프론티어 기업 Anthropic의 일부 직원은 잠재적인 재앙 시나리오에 대비해 이미 피난처를 물색하고 있는 것으로 알려졌다.