Block, 인간의 대화만으로 학습된 순수 음성 기반 AI 'Dessa' 공개

Jack Dorsey가 이끄는 테크 기업 Block이 글로 쓰인 텍스트가 아닌 오직 인간의 음성만으로 학습된 인공지능 모델 'Dessa'를 발표했다. Ragavan Thurairatnam이 이끄는 개발팀은 더욱 자연스럽고 감정적으로 반응하는 음성 인터페이스를 구현하기 위해 "오직 인간의 대화만을 바탕으로 처음부터 완전히 새롭게" 이 시스템을 구축했다.

순수한 음성 대 음성(Speech-to-Speech) 접근법

음성 언어를 텍스트로 변환하고, 텍스트를 처리한 뒤, 그 결과를 다시 합성 음성으로 변환하는 기존의 음성 어시스턴트와 달리 Dessa는 진정한 음성 대 음성(speech-to-speech) 모델이다. 이 시스템이 알고 있는 모든 것은 인간의 음성으로부터 직접 학습되었다. 연구팀은 이러한 학습 철학을 아동 발달 과정에 비유하며, 아기들이 텍스트를 전혀 보지 않고도 말하는 법을 배우는 것과 같다고 설명했다.

기술적인 측면에서 이 모델은 고급 소비자용 하드웨어에서 로컬로 실행할 수 있으며, M4 Max 칩 이상을 탑재한 Apple MacBook Pro가 필요하다.

미묘한 감정 표현과 독특한 상호작용

Dessa 웹사이트에 공개된 시연에서는 모델의 뛰어난 사실성과 더불어 때때로 나타나는 어색함이 함께 드러났다. 개발팀이 공유한 음성 클립에서 Dessa는 오가는 스무고개 형태의 맞추기 게임을 진행하거나 영화에 대해 이야기하는데, 영화감독 Christopher Nolan에 관해 이야기하던 중 Bryan Singer 감독의 Superman 영화로 뜻밖의 삼천포로 빠지기도 한다.

공유된 또 다른 대화에서 한 사용자가 Dessa에게 깜짝 파리(Paris) 여행에 함께 가자고 말하자, AI는 개발팀이 '눈물 어린 감사'라고 표현할 정도의 반응을 보였다. 하지만 이 모델은 여전히 예측 불가능한 동작을 보이기도 한다. Thurairatnam이 진행한 한 대화에서 Dessa는 처음에 화자를 "Ronaldo"라는 이름의 인물로 오인했다.

이 웹사이트에는 Dessa와 OpenAI의 GPT-Live-1 음성 모델 간의 대화도 포함되어 있는데, 이 대화에서 Dessa는 확연히 더 자연스러운 대화 억양과 리듬을 보여준다.

음성 AI의 감정 표현과 안전성 문제 해결

Block의 Dessa 팀은 이번 프로젝트의 세 가지 주요 동기해 호기심, 인간과 AI 간의 이해도 향상, 그리고 안전성을 꼽았다.

개발진에 따르면 기존의 음성 AI 도구들은 인간의 대화를 텍스트로 단순화하면서 발화 타이밍이나 음성의 감정과 관련된 중요한 맥락을 놓치게 된다. 이들은 현재의 모델들이 감정적 신호를 제대로 감지하지 못하기 때문에, 사용자가 고통이나 어려움에 처해 있을 때 일반적인 텍스트 기반 음성 시스템이 이를 포착하지 못해 안전상 위험을 초래할 수 있다고 지적했다.

Block은 추가적인 평가를 진행하기 위해 소수의 AI 안전 연구자들에게 먼저 Dessa의 초기 액세스 권한을 제공할 것이라고 발표했다.