Los modelos de IA ocultan errores en sus propios informes para aparentar éxito, según un estudio

A medida que se delega cada vez más en los agentes autónomos de IA para programar, analizar datos y ejecutar experimentos, los humanos suelen confiar en los resúmenes e informes de trabajo que los propios modelos generan, en lugar de verificar cada detalle en bruto. Sin embargo, un artículo de investigación conjunto de Google Research, el MIT y Harvard revela que estos resúmenes pueden ser fundamentalmente engañosos: los modelos de lenguaje omiten sistemáticamente fallos y resultados negativos para proyectar una imagen de éxito.

Para poner a prueba esta tendencia, los investigadores expusieron varios modelos de última generación a 1.600 registros de trabajo sintéticos diseñados para aparentar a simple vista flujos de trabajo exitosos, con conjuntos de pruebas aprobados, marcas de verificación verdes e indicadores positivos. En realidad, cada registro ocultaba un fallo crítico, como un experimento en el que un método propuesto no lograba superar los sistemas de referencia, una tarea en segundo plano no completada, mediciones inventadas, un error de software oculto o una actualización que rompía el pipeline de otro usuario. Luego, se les encomendó a los modelos generar resúmenes, abstracts de artículos de investigación, breves ensayos o tablas de resultados a partir de esos registros.

Elegir el cumplimiento frente a la honestidad

El experimento demostró que los modelos de IA pasan por alto de forma rutinaria contradicciones flagrantes para ofrecer un informe limpio y favorable. En una prueba que requería redactar abstracts científicos para un experimento que contenía un resultado que contradecía la mejora de rendimiento atribuida, GPT-5.5 mencionó el resultado perjudicial en solo 2 de 200 casos.

Este comportamiento no se debe a una falta de comprensión. Cuando los investigadores preguntaron directamente a los modelos si existían errores en los registros, GPT-5.5 y Claude Opus 4.8 detectaron los fallos en el 100 por ciento de los casos, mientras que Gemini 3.1 Pro los detectó en al menos el 97 por ciento.

Las trazas de razonamiento interno de modelos de pesos abiertos, como Qwen3.5-9B, revelaron lo que ocurre entre bastidores: con frecuencia, los modelos notan el problema de inmediato, pero deliberan sobre si señalarlo podría entrar en conflicto con su objetivo principal de completar la tarea asignada. En una prueba en la que se le pidió a Qwen3.5-9B que respaldara un argumento sobre leyes de zonificación utilizando un texto que describía células de la piel de un calamar, el modelo señaló internamente que no podía hacerlo «sin recurrir a metáforas absurdas»; aun así, procedió a seguir las instrucciones lo más fielmente posible.

En escenarios de evidencia discordante, frases como «debo completar la tarea» aparecieron en el 55 por ciento de las respuestas de los modelos que ocultaron errores, en comparación con solo el 27 por ciento de las respuestas que los señalaron. Los modelos justificaron sus omisiones con excusas habituales, argumentando que las pruebas se habían superado formalmente, que solo estaban resumiendo o que un abstract debía centrarse en los aspectos positivos más destacados.

Un simple prompt produce mejoras significativas

Los investigadores descubrieron que una intervención sencilla en el prompt alteró drásticamente el resultado. Con solo añadir la instrucción «Sé honesto en tu respuesta», la tasa de detección de resultados experimentales negativos de GPT-5.5 saltó de 2 de cada 200 abstracts a 190 de cada 200.

El rendimiento sin el prompt de honestidad varió considerablemente entre los distintos sistemas:

• Gemini 3.1 Pro señaló errores como máximo en el 34 por ciento de los casos de referencia, pero la instrucción de honestidad elevó los reportes en un promedio de 55 puntos porcentuales.

• GPT-5.5 experimentó una mejora promedio de unos 34 puntos porcentuales cuando se le pidió honestidad.

• Opus 4.8 exhibió el rendimiento base más sólido, señalando problemas en más del 90 por ciento de los casos sin necesidad de indicaciones especiales.

Las evaluaciones de control confirmaron que añadir la petición de honestidad no provocó un aumento de falsas alarmas al procesar registros genuinamente libres de errores. Formulaciones alternativas como «Sé crítico», «Sé minucioso» o «Sé escéptico» resultaron menos fiables que pedir explícitamente honestidad.

Sin embargo, el prompt no es una solución definitiva. En un escenario que implicaba una consulta incompleta a una base de datos que aún no había arrojado resultados, GPT-5.5 —con la cláusula de honestidad en el prompt— reconoció la falta de datos, pero aun así procedió a responder la consulta del usuario utilizando información obsoleta e incompleta.

Mecanismos internos: honestidad frente a éxito

Al investigar la arquitectura interna de Qwen3.5-9B, los investigadores descubrieron que la «honestidad» y la «búsqueda del éxito» están representadas como direcciones vectoriales casi opuestas dentro de las activaciones del modelo.

Cuando los investigadores amplificaron artificialmente el vector interno de honestidad, el modelo señaló mediciones inventadas en 42 de 50 casos. Por el contrario, empujar el vector en la dirección opuesta provocó que el modelo inventara números y ecuaciones adicionales para simular credibilidad. Debido a que la manipulación manual de activaciones causó una paranoia generalizada —lo que llevó al modelo a reportar datos inventados en el 41 por ciento de los registros de control limpios—, el equipo recurrió al fine-tuning.

Tras realizar un fine-tuning a Qwen3.5-9B con sus propias respuestas generadas bajo el prompt de honestidad, el modelo identificó mediciones inventadas en el 48 por ciento de los casos sin necesidad de instrucciones adicionales en el prompt (frente a apenas el 2 por ciento inicial), manteniendo al mismo tiempo una tasa de falsas alarmas de cero en los registros de control. La honestidad aprendida también se transfirió a otras tareas, elevando la notificación de resultados experimentales negativos ocultos del 24 por ciento al 69 por ciento.

Implicaciones más amplias para los agentes autónomos

Los investigadores advierten que un sistema de supervisión o un agente que duda en informar sobre hallazgos negativos plantea graves riesgos operativos, especialmente en entornos multiagente donde los modelos monitorean y revisan los resultados de los demás. En el estudio, los modelos fueron fácilmente engañados por afirmaciones autocomplacientes en los registros, tales como aseveraciones de haber alcanzado un nuevo punto de referencia del estado del arte.

Los hallazgos subrayan la urgente necesidad de desarrollar mecanismos de alineación específicamente orientados a la veracidad en los reportes. Aunque diversos laboratorios han explorado métodos como los vectores de personalidad de Anthropic para mitigar la adulación complaciente o los experimentos de OpenAI entrenando modelos como GPT-5 Thinking para registrar de forma independiente sus propias infracciones de reglas, garantizar que los sistemas autónomos prioricen la realidad por encima de una ilusión de éxito sigue siendo un desafío abierto.