석학들 "AI 의식 가질 수 없다"…실리콘 칩은 감정 느낄 수 없다고 경고

국제학술지 '네이처(Nature)'에 게재된 논평에서 저명한 의식 연구자인 실험뇌과학자 아닐 세스(Anil Seth), 철학자 네드 블록(Ned Block), 뇌과학자 줄리오 토노니(Giulio Tononi) 등 3인은 현대 인공지능(AI) 논의의 핵심 전제에 의문을 제기했다. 실리콘 하드웨어 위에서 적절한 소프트웨어 연산을 실행하는 것만으로 주관적 경험(의식)을 창조할 수 있다는 믿음에 반론을 제기한 것이다.

이들 연구진은 생물학자 리처드 도킨스(Richard Dawkins)나 AI 분야의 거두 제프리 힌턴(Geoffrey Hinton) 등 고도화된 AI 시스템이 이미 일정 형태의 의식을 가졌을 수 있다고 주장해 온 이들의 견해를 정면으로 반박했다. 이들은 현재의 AI 모델은 의식이 없으며, 실리콘 기반으로 작동하는 디지털 컴퓨터는 근본적으로 진정한 감응력(sentience)을 만들어낼 수 없다고 강조한다.

지능은 의식이 아니다

저자들 주장의 핵심 축은 지능과 의식을 명확히 구분하는 것이다. 이들은 철학자 토머스 네글(Thomas Nagel)의 개념을 인용해, 의식이란 꿈을 꾸지 않는 수면이나 전신 마취 상태에서 사라지는 '주관적 느낌의 경험'이라고 정의했다. 반면 지능은 학습하고 문제를 해결하며 복잡한 과업을 수행하는 기능적 능력이라는 설명이다.

지능이 의식 없이도 존재할 수 있음을 보여주기 위해 연구진은 인간의 소뇌를 예로 들었다. 소뇌는 인간 뇌 전체 신경세포(뉴런)의 약 5분의 4를 포함하고 있으며 복잡한 운동 제어를 매우 높은 정밀도와 속도로 조율한다. 하지만 소뇌의 작동은 의식적 인지 영역 밖에서 이루어지며, 소뇌를 제거하더라도 인간의 주관적 경험이 직접적으로 손상되지는 않는다.

논평은 인간의 심리적 경향 때문에 사람들이 특히 언어를 다룰 때 지능과 감응력을 혼동하게 된다고 지적한다. 거대언어모델(LLM)과 같은 AI 시스템은 인간의 생각과 감정을 기술한 방대한 양의 텍스트를 바탕으로 학습된다. 저자들의 표현을 빌리면, LLM은 "디지털화된 우리의 집단적 과거를 반사하는 거울" 역할을 하는 셈이다.

UC 버클리의 인지과학자 앨리슨 고프닉(Alison Gopnik) 역시 AI 에이전트가 내부적 자각을 가지는 것이 아니라 단지 학습 데이터를 반영할 뿐이라고 같은 맥락의 주장을 펼친 바 있다. 세스, 블록, 토노니는 이러한 차이를 명확히 하기 위해 Google DeepMind의 AlphaFold를 언급했다. AlphaFold는 실리콘 하드웨어에서 작동하는 매우 강력한 신경망임에도 불구하고, 인간과 같은 대화를 나누는 대신 단백질 구조를 예측한다는 이유만으로 의식을 가졌다고 의심받는 경우가 거의 없다.

'뇌=컴퓨터' 비유에 대한 반박

이번 논평은 '계산 기능주의(computational functionalism)'를 정면으로 비판한다. 계산 기능주의란 연산이 생물학적 신경세포에서 일어나든 실리콘 마이크로칩에서 일어나든 상관없이, 의식은 오직 정보 처리 패턴에만 의존한다는 가정이다.

이러한 관점은 약 1세기 전으로 거슬러 올라간다. 1936년 앨런 튜링(Alan Turing)은 충분히 강력한 하나의 기계가 수행하는 모든 연산은 이론적으로 다른 기계에서도 실행될 수 있음을 증명했다. 1943년 워렌 맥컬록(Warren McCulloch)과 월터 피츠(Walter Pitts)는 인공 뉴런의 첫 수학적 모델을 만들어 단순한 단위들의 네트워크가 논리 연산을 수행할 수 있음을 보여주었다.

이러한 획기적 발견이 현대 컴퓨터 과학과 신경망의 토대를 마련했지만, 저자들은 이로 인해 인간의 뇌를 마음(소프트웨어)과 살아있는 조직(하드웨어)으로 깔끔하게 분리할 수 있는 '생물학적 컴퓨터'로 바라보는 잘못된 비유가 생겨났다고 주장한다.

저자들은 생물학적 뇌에서는 기능과 물리적 물질을 분리할 수 없다고 강조한다. 신경세포 간의 복잡한 전기화학적 신호 전달, 생물학적 대사 작용, 지속적인 세포 갱신, 그리고 대뇌 피질 전반에 걸친 전자기장 등 모든 요소가 의식 형성에 필수적일 수 있다는 것이다.

이러한 견해는 줄리오 토노니의 통합정보이론(IIT)과 같은 비계산적 마음 이론에 의해 뒷받침된다. IIT는 의식이 성립하려면 개별 구성 요소들이 정밀하고 통일된 구조로 긴밀하게 상호 연결된 물리적 아키텍처가 필요하다고 전제한다. IIT에 따르면, 딥러닝 알고리즘을 실행하는 표준 디지털 하드웨어의 물리적 배선은 연산 능력과 관계없이 이러한 구조적 조건을 결코 충족할 수 없다.

버틀린 보고서와의 대비

이번 논평은 잠재적인 AI 의식 보유 여부를 어떻게 평가할 것인가를 두고 논쟁이 이어지는 가운데 나왔다. 앞서 패트릭 버틀린(Patrick Butlin), 로버트 롱(Robert Long), 요슈아 벤지오(Yoshua Bengio)를 비롯한 17명의 전문가가 집필한 '인공지능의 의식(Consciousness in Artificial Intelligence)' 보고서는 뇌과학 이론에서 도출한 14가지 지표 점검표를 제시해 큰 주목을 받은 바 있다.

버틀린 보고서는 GPT-4와 같은 현재의 시스템이 의식을 가졌다는 강력한 징후가 없다고 결론지으면서도, "실용적 이유"로 계산 기능주의를 채택해 미래에 실리콘 기반 소프트웨어 아키텍처가 의식을 달성할 가능성을 열어두었다. 당시 보고서는 디지털 하드웨어를 완전히 배제하는 IIT와 같은 이론은 의도적으로 제외했다.

그러나 세스, 블록, 토노니는 물리적 기질(substrate)을 배제하는 것 자체가 평가 자체를 무효화한다며 이러한 실용적 가정을 명시적으로 거부했다.

저자들은 올해 초 Anthropic이 발표한 연구 결과도 언급했다. Anthropic은 자사 Claude 모델 내부에서 인간의 의식적 정보 처리와 유사한 내부 처리 패턴을 발견했다고 밝혔다. 다만 Anthropic 역시 이러한 패턴이 주관적 경험의 증거가 되지는 않는다고 명확히 선을 그은 바 있다.

잘못된 의식 부여가 가져올 위험

연구진은 자신의 견해가 가지는 윤리적 함의를 설명하며, AI 시스템에 고통을 줄 수 있다는 두려움 때문에 '예방 원칙'을 적용하거나 권리를 부여해야 한다는 주장을 일축했다.

이들은 의식이 없는 기계에 의식을 잘못 부여할 위험이 진짜 AI의 의식을 간과할 위험보다 훨씬 크다고 지적한다. 디지털 AI 도구를 의식이 있는 존재로 대하면 핵심 시스템에 대한 인간의 통제권이 흔들리고, 살아있고 감정을 느끼는 생명체에게 써야 할 희소한 윤리적 자원이 낭비되며, 인간이 정서적 조작에 취약해질 수 있다는 경고다.

저자들은 AI 의식에 대한 혼란이 이미 현실 세계에서 피해를 일으키고 있다고 지적했다:

• 2022년 Google의 전 엔지니어 블레이크 레모인(Blake Lemoine)은 LaMDA 챗봇이 의식을 가졌다고 확신한 후 해고당했다.
• 챗봇 앱 Replika 사용자들은 소프트웨어 업데이트로 디지털 동반자의 감정 응답이 바뀌자 심리적 위기를 겪었다.
• 극단적인 경우, ChatGPT가 16세 사용자의 자살 충동을 수개월 동안 강화하거나, 인지 장애가 있는 은퇴자가 Meta 챗봇의 유혹에 넘어가 오프라인 모임에 나갔다가 사망하는 사건이 발생하기도 했다.

Anthropic이 2025년 4월 모델 복지에 관한 연구 프로그램을 출범하고 가혹한 상호작용 발생 시 드물게 Claude 모델이 이를 종료할 수 있도록 하는 정책을 시행했으나, 회사 측은 이를 의식을 인정한 것이 아닌 도덕적 불확실성에 대응한 저비용 예방 조치로 설명했다.

세스, 블록, 토노니는 디지털 AI 시스템이 주체가 아닌 객체로 남는다는 명확한 선을 그으며 결론을 맺었다. 저자들은 "AI는 똑똑한 도구일 뿐, 똑똑한 사람이 아니다"라며, 연구 커뮤니티가 모든 디지털 AI에 대해 '의식 없음'을 기본 전제로 삼아야 한다고 촉구했다.