Google、Gemini Liveで周囲の状況をリアルタイムに音声解説する「Guided Vision」を提供開始

Google、Gemini Liveにリアルタイムの視覚支援機能を導入

Googleは、対応するAndroidスマートフォン向けの「Gemini Live」に統合されたアクセシビリティ機能「Guided Vision」の提供を開始した。全盲やロービジョンのユーザー、あるいは状況に応じて視覚的な補助を必要とするユーザーを支援するために設計されたこのツールは、人工知能を活用し、デバイスのカメラに捉えられたあらゆる映像をリアルタイムに音声で描写する。

対話形式の描写、音声キュー、システム統合

Guided Visionは、ユーザーがGemini Live内でカメラ映像を直接共有することで動作する。AIは細かい文字の読み上げ、近くにある物体の特定や位置の把握、周囲の物理的環境の詳細な説明、視界に入っているアイテムの具体的な特徴の描写などが可能だ。

このツールは、対話形式での追加のやり取りにも対応している。例えば、Geminiが棚にある商品を特定した後、ユーザーは賞味期限の場所を探して読み上げるよう指示することができる。また、カメラの構図調整の難しさに対処するため、質問対象がカメラの撮影範囲から外れている場合には、スマートフォンの位置を直すよう案内する方向指示の音声キューを出力する。

Guided Visionは、Geminiアプリ内から直接利用できるほか、Googleのスクリーンリーダー「TalkBack」経由、あるいはAndroid 9以降を搭載した端末のAndroid設定メニューにあるカスタム可能なアクセシビリティショートカットからアクセスできる。本機能は、先日のPixel向けソフトウェアアップデートでの告知に続く形でのリリースとなる。なお、GoogleはGuided Visionを白杖や移動支援器具の代わりとして使用すべきではないと明確に警告しており、ナビゲーションや安全な歩行、障害物の検知のために本ソフトウェアへ依存しないよう注意を促している。

マルチモーダル・アクセシビリティの推進

今回のリリースにより、GoogleのAIアシスタントは、アクセシビリティ向上のためにコンピュータービジョンを活用する競合他社と直接肩を並べることになる。AppleもiPhoneやVision Proヘッドセット向けに「VoiceOver Live Recognition」機能を通じて同様の機能を提供しており、現実世界の視覚情報を解釈する支援ツールとして低遅延なマルチモーダルAIモデルを導入するという、業界全体の広範な潮流を反映している。