사티아 나델라 MS CEO, AI '비상 브레이크' 촉구…"모델 침해 전제해야"

사티아 나델라(Satya Nadella) Microsoft 최고경영자(CEO)가 인공지능(AI) 부문 전반에 걸쳐 더욱 엄격한 안전 프로토콜을 도입할 것을 촉구했다. 기업들이 더 이상 첨단 시스템을 맹목적으로 신뢰할 수 없는 상황에 직면했다는 경고다. 나델라 CEO는 소셜 미디어 플랫폼 X에 올린 상세한 게시물을 통해, 개발자와 운영자가 모든 AI 모델이 이미 "침해(compromised)"되었다고 전제하는 방향으로 보안 태세를 근본적으로 전환해야 한다고 주장했다.

나델라 CEO에 따르면, AI의 역량이 급속도로 발전하는 상황에서 복잡한 모델을 추적 불가능한 블랙박스로 취급하는 것은 용인할 수 없는 위험을 초래한다. 대신 그는 인간이 실행 중인 워크로드를 직접적이고 즉각적으로 제어할 수 있는 표준화된 "비상 브레이크(emergency brake)"를 포함해, 아키텍처 차원의 필수 안전장치를 마련해야 한다고 강조했다.

'중첩된 블랙박스'의 시대 종식

나델라 CEO는 사용자가 심층적인 가시성 없이 결과물과 권장 사항을 단순히 수용하거나 거부하기만 하는, "중첩된 블랙박스의 집합(set of nested black boxes)"으로 인공지능이 작동하는 환경을 기술 업계가 더 이상 용인할 수 없다고 밝혔다.

그가 거듭 "초지능(super intelligence)"이라 언급한 자율 모델의 위험에 대처하기 위해, 나델라 CEO는 AI의 행동을 적극적으로 격리·통제(contain)하고 지속해서 관찰할 수 있는 투명한 환경을 구축해야 한다고 강조했다. 이러한 접근 방식의 핵심은 시스템이 "위변조가 불가능하고 사람이 읽을 수 있는 증거(tamper-proof human readable evidence)"를 남기도록 보장하는 것이다. 이를 통해 엔지니어와 외부 규제 기관은 의사결정이 어떻게 이뤄졌는지 추적하고 사후에 이상 징후를 식별할 수 있다.

의무적 격리 통제와 '비상 브레이크'

독립적인 감사, 검증 가능한 학습 데이터, 신속한 사고 공개 등 나델라 CEO의 권고안 중 상당 부분은 업계 전반의 광범위한 논의를 반영하고 있지만, 적극적인 격리 통제에 대한 그의 입장은 통상적인 모범 사례보다 한 걸음 더 나아갔다.

나델라 CEO는 "모델이 이미 침해되었다고 전제하고 처음부터 이를 격리·통제해야 한다. 비상 브레이크와 같다고 보면 된다"라며 "권한을 가진 담당자는 작업 도중에도 언제든지 모델을 일시 중지하거나 종료할 수 있어야 한다. 모델이 고도화될수록 더욱 발전된 격리 기술이 필요하며, 우리는 이를 표준화해야 한다"라고 적었다.

그가 제안한 방식에서 격리 통제는 장애 발생 후 작동하는 사후 대처 프로토콜이 아니라, 설계 첫날부터 적용되는 아키텍처 차원의 필수 요건이다. 나델라 CEO는 인간 운영자가 지체 없이 개입해 실행 중인 작업을 중단할 수 있는 최종 권한을 유지해야 한다고 거듭 강조했다.

업계 전반의 표준화 추진

주요 빅테크 기업과 AI 연구소들이 더욱 강력한 성능의 자율 에이전트를 앞다투어 출시함에 따라, 정렬(alignment), 보안, 감독을 둘러싼 쟁점이 글로벌 논의의 중심으로 떠올랐다. 나델라 CEO의 이번 발언은 급격한 알고리즘 발전에 맞춰 안전 제어 기술이 보조를 맞출 수 있도록, 생태계 전반에서 공식화된 격리 통제 표준을 구축하려는 Microsoft의 행보를 보여준다.