Block presenta Dessa, una IA pura de voz a voz entrenada únicamente con conversaciones humanas

Block, la compañía tecnológica de Jack Dorsey, ha anunciado Dessa, un modelo de inteligencia artificial entrenado completamente con habla humana en lugar de texto escrito. Liderado por Ragavan Thurairatnam, el equipo de desarrollo construyó el sistema "desde cero basándose únicamente en la conversación humana", en un esfuerzo por crear una interfaz de voz más natural y con mayor capacidad de respuesta emocional.

Un enfoque puro de voz a voz

A diferencia de los asistentes de voz tradicionales, que convierten las palabras habladas en texto, procesan dicho texto y luego convierten el resultado de nuevo en habla sintetizada, Dessa es un modelo genuino de voz a voz. Todo lo que el sistema sabe lo aprendió directamente del habla humana. El equipo comparó esta filosofía de entrenamiento con el desarrollo infantil, señalando que los bebés aprenden a hablar sin haber visto jamás texto escrito.

En el apartado técnico, el modelo es capaz de ejecutarse de forma local en hardware de consumo de gama alta, requiriendo una Apple MacBook Pro con chip M4 Max o superior.

Interacciones sorprendentes y matices emocionales

Las demostraciones publicadas en el sitio web de Dessa destacan tanto el realismo como la torpeza ocasional del modelo. En clips de audio compartidos por el equipo, Dessa participa en juegos de adivinanzas de ida y vuelta y habla sobre cine, incluida una conversación sobre el cineasta Christopher Nolan en la que el modelo se desvía de forma inesperada hacia las películas de Superman de Bryan Singer.

En otra interacción compartida, cuando un usuario le dice a Dessa que la llevará a un viaje sorpresa a París, la IA responde con lo que el equipo describe como una gratitud entre lágrimas. Sin embargo, el modelo aún muestra comportamientos impredecibles: en una conversación dirigida por Thurairatnam, Dessa confundió inicialmente al interlocutor con alguien llamado "Ronaldo".

El sitio web también presenta un diálogo entre Dessa y el modelo de voz GPT-Live-1 de OpenAI, en el cual Dessa demuestra una cadencia conversacional notoriamente más natural.

Abordando la emoción y la seguridad en la IA de voz

El equipo de Dessa en Block citó tres motivaciones principales detrás del proyecto: la curiosidad, la mejora de la comprensión entre humanos e IA, y la seguridad.

Según los desarrolladores, las herramientas de IA de voz existentes aplanan el diálogo humano al convertirlo en texto, perdiendo un contexto crucial relacionado con los tiempos del habla y la emoción vocal. Señalaron que los modelos actuales siguen siendo en gran medida ciegos ante las señales emocionales, lo que genera riesgos de seguridad cuando un usuario podría estar angustiado o sufriendo un dolor que un sistema de voz estándar basado en texto no puede detectar.

Block anunció que inicialmente ofrecerá acceso anticipado a Dessa a un reducido grupo de investigadores de seguridad en IA para realizar evaluaciones adicionales.