Google lanza Guided Vision en Gemini Live para describir el mundo en tiempo real

Google incorpora asistencia visual en tiempo real a Gemini Live

Google ha lanzado Guided Vision, una función de accesibilidad integrada en Gemini Live para smartphones Android compatibles. Diseñada para ayudar a usuarios ciegos, con baja visión o que necesitan asistencia visual circunstancial, la herramienta utiliza inteligencia artificial para generar descripciones habladas en tiempo real de todo lo que capta la cámara del dispositivo.

Descripciones interactivas, indicaciones de audio e integración con el sistema

Guided Vision funciona cuando los usuarios comparten la transmisión de su cámara directamente dentro de Gemini Live. La IA puede leer letras pequeñas, identificar y ubicar objetos cercanos, detallar el entorno físico y describir atributos específicos de los elementos que están a la vista.

La herramienta admite preguntas de seguimiento interactivas y conversacionales. Por ejemplo, después de que Gemini identifica un producto en un estante, el usuario puede pedirle que busque y lea en voz alta la fecha de caducidad. Para solucionar problemas de encuadre, el software emite indicaciones sonoras direccionales que guían a los usuarios para reposicionar el teléfono si el objeto sobre el que preguntan queda fuera de la toma de la cámara.

Se puede acceder a Guided Vision directamente dentro de la app de Gemini, a través del lector de pantalla TalkBack de Google o mediante un atajo de accesibilidad configurable en el menú de Ajustes de Android en dispositivos con Android 9 o posterior. Esta función llega tras un anuncio inicial en recientes actualizaciones de software de los Pixel. Google advierte explícitamente que Guided Vision no debe utilizarse como sustituto de un bastón o ayuda para la movilidad, y previene a los usuarios de no depender del software para la navegación, desplazamientos seguros o detección de obstáculos.

El impulso por la accesibilidad multimodal

Este lanzamiento alinea directamente al asistente de IA de Google con competidores que aprovechan la visión por computadora para la accesibilidad. Apple ofrece una función similar con su herramienta VoiceOver Live Recognition en los iPhone y el visor Vision Pro, lo que refleja un impulso más amplio de la industria por implementar modelos de IA multimodales de baja latencia como herramientas de asistencia para la interpretación visual del mundo real.