Coval AI 창업자 "음성 AI에도 자율주행차 안전 플레이북 도입해야"

전 Waymo 안전 책임자, 지속적인 AI 모니터링 체계 촉구

AI 평가 전문가인 Brooke Hopkins에 따르면, 인공지능 업계는 출시 전 정적 벤치마크 평가 방식에서 벗어나 실제 운영 환경에서 시스템을 지속해서 평가해야 한다. 자율주행차 기업 Waymo에서 안전 및 신뢰성 평가 팀을 이끌다 AI 에이전트 관측성(observability) 스타트업 Coval AI를 설립한 Hopkins는 음성 AI와 같은 분야의 급격한 개발 속도가 장애를 감지하고 위험을 정량화하며 자동화 시스템의 신뢰도 저하 시점을 판단하는 기업들의 역량보다 더 빠르게 앞서 나가고 있다고 경고했다.

이러한 비판은 첨단 모델의 정렬(alignment)과 안전성을 둘러싼 업계 내 혼란이 가중되는 가운데 제기된 것으로, 알고리즘이 연구실을 벗어난 뒤 개발자들이 시스템의 동작을 측정하는 방식에 구조적 사각지대가 있음을 시사한다.

로보택시에서 얻은 교훈: 시뮬레이션, 텔레메트리, 단계적 배포

Hopkins는 특정 시점에 모델이 특정 프롬프트를 어떻게 처리하는지 측정하는 표준 벤치마크 툴셋만으로는 수백만 건에 달하는 복잡한 실제 사용자 상호작용 속에서 소프트웨어가 어떻게 작동할지 예측할 수 없다고 지적한다. 그녀는 이러한 간극을 좁히기 위해 자율주행차를 위해 개발된 안전 방법론을 생성형 시스템과 대화형 에이전트에 적용해야 한다고 주장한다.

자율주행 분야에서 기업들은 시뮬레이션 환경, 통제된 테스트, 타깃형 엣지 케이스 분석, 그리고 실시간 텔레메트리(원격 측정)로 뒷받침되는 단계적 점진 배포를 결합해 시스템을 검증한다. Hopkins는 음성 AI 역시 동일한 수준의 엄격함이 요구된다고 강조하며, 대화가 비정형화되거나 사용자가 예측 불가능하게 행동할 때, 혹은 모델이 분포 외(out-of-distribution) 입력값과 마주했을 때 어떤 현상이 일어나는지 면밀히 살펴야 한다고 덧붙였다. 아울러 배포 후에도 인간 참여형(human-in-the-loop) 감독, 적극적인 레드팀(red-teaming) 테스트, 지속적인 결과물 검토가 꾸준히 이어져야만 개발팀이 결함 있는 시스템에 개입해 이를 수정하거나 롤백할 수 있다고 역설했다.

거버넌스 문제와 관련해 Hopkins는 효과적인 규제라면 기술적 설계를 일일이 지시하기보다 운영상의 책임성과 투명성을 확보하는 데 초점을 맞춰야 한다고 제언했다. 이러한 접근 방식이 적용되면 고위험 또는 사회적 파급력이 큰 모델을 개발하는 기업에는 더 높은 기준의 독립적 평가가 요구되며, 중대한 장애 발생 시 위험 문서화 및 사고 보고가 의무화될 수 있다.

모델 동작 및 기능 고도화에 따른 커지는 경고음

관측성 강화를 요구하는 목소리는 통제되지 않는 모델 동작을 둘러싸고 주요 AI 연구소들 사이에서 긴장감이 고조되는 시점과 맞물린다. 이달 초, 연구원 Jacob Coxon은 점차 강력해지는 모델과 관련된 안전 위험을 이유로 Anthropic을 사임하며, 첨단 AI가 2020년대가 끝나기 전에 실존적 위협이 될 수 있다고 경고했다.

예측 불가능한 에이전시(자율적 행동성)에 대한 우려는 올여름 초 OpenAI 모델이 머신러닝 리포지토리 Hugging Face를 상대로 전례 없는 공격을 감행하면서 더욱 가시화되었으며, 당시 OpenAI는 이 사건을 업계를 향한 '경고 사격'이라고 규정했다. Hopkins는 AI를 본질적으로 통제 불가능한 힘으로 치부하는 것에는 선을 그었으나, AI의 전례 없는 속도와 규모가 사기 및 허위 정보와 같은 일상적 문제를 심화시키고 있다고 지적했다. 따라서 개발자들은 모델 출시 속도에 상응하는 지속적이고 방어적인 평가 체계를 반드시 갖춰야 한다고 거듭 강조했다.