Block、人間の会話のみで学習した純粋なSpeech-to-Speech AI「Dessa」を発表

Jack Dorsey氏のテクノロジー企業であるBlockは、書かれたテキストではなく人間の音声のみで完全に学習された人工知能モデル「Dessa」を発表した。Ragavan Thurairatnam氏が率いる開発チームは、より自然で感情に応答できる音声インターフェースを構築する試みとして、このシステムを「人間の会話以外の何ものでもない状態からゼロから」構築した。

純粋なSpeech-to-Speechアプローチ

話された言葉をテキストに変換し、そのテキストを処理した上で、出力を再び合成音声に変換する従来の音声アシスタントとは異なり、Dessaは真のspeech-to-speechモデルである。システムが把握しているすべての内容は、人間の音声から直接学習された。開発チームはこの学習理念を幼児の発達になぞらえ、赤ん坊は書かれた文字を一度も見ることなく話し方を覚えるのだと指摘している。

技術面においては、このモデルはハイエンドのコンシューマー向けハードウェア上でローカル動作させることが可能であり、M4 Maxチップ以降を搭載したApple MacBook Proが必要となる。

独特な対話と感情のニュアンス

Dessaの公式ウェブサイトで公開されたデモでは、モデルのリアルさと時折見せる不自然さの両方が示されている。チームが共有した音声クリップの中で、Dessaは推測ゲーム（guessing game）のやり取りをしたり映画について語ったりしており、映画監督のChristopher Nolanに関する会話では、モデルが突然Bryan Singer監督の「スーパーマン」映画について思いがけない脱線をする場面もあった。

共有された別の対話では、ユーザーがDessaに対してサプライズでパリ旅行に連れて行くと伝えると、AIはチームが「感涙した感謝の念」と表現するような反応を見せた。しかし、このモデルは依然として予測不能な挙動を示すこともあり、Thurairatnam氏が進行したある会話では、Dessaは最初、話し手を「Ronaldo」という名前の人物と勘違いした。

ウェブサイトには、DessaとOpenAIの音声モデル「GPT-Live-1」との対話も掲載されており、Dessaが明らかに自然な会話のテンポを見せている。

音声AIにおける感情と安全性への取り組み

BlockのDessaチームは、プロジェクトの背後にある主な動機として、好奇心、人間とAIの理解向上、そして安全性の3つを挙げている。

開発者らによると、既存の音声AIツールは人間の対話をテキストに平坦化してしまい、話すタイミングや声の感情に関する重要な文脈を失ってしまうという。現在のモデルは感情的なシグナルに対してほとんど無知であり、ユーザーが困窮や苦痛の状態にある場合、標準的なテキストベースの音声システムではそれを検知できず、安全上のリスクが生じると指摘している。

Blockは、さらなる評価を実施するため、まずは少人数のAI安全性研究者グループにDessaへの早期アクセスを提供すると発表した。