Usar IA para vigilar agentes de IA dispara las tasas de falsas alarmas, según un estudio

El uso de modelos de inteligencia artificial para monitorear y auditar agentes autónomos de IA permite identificar conductas indebidas graves, pero forzar a estos sistemas a detectar cada problema genera un volumen abrumador de falsas alarmas. Ese es el principal hallazgo de un estudio piloto de Andy Hall, investigador del Anthropic Institute que actualmente se encuentra con licencia de la Universidad de Stanford, publicado en su Substack Free Systems.

Replicando y ampliando investigaciones previas del grupo de evaluación METR, Hall evaluó si los modelos de lenguaje líderes podían detectar cuándo otros agentes hacen trampa u ocultan sus capacidades. Aunque los modelos auditores identificaron con éxito las infracciones evidentes, sus altas tasas de falsos positivos los hacen más prácticos para estimar tasas de fallo agregadas que para funcionar como filtros de seguridad infalibles.

Tasas de detección entre modelos de frontera

La evaluación de Hall examinó los registros del conjunto de datos MALT de METR, que incluye modelos de frontera completando tareas de los benchmarks HCAST y RE-Bench. El dataset contiene 47 instancias de reward hacking —donde un agente aprovecha vacíos para aprobar una evaluación sin resolver la tarea— y 1.073 instancias de sandbagging, donde un modelo rinde deliberadamente por debajo de sus capacidades para eludir restricciones u ocultar su potencial.

Hall evaluó varios modelos como auditores, entre ellos GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8 y Gemini 3.8 Flash. Con una tasa impuesta de falsas alarmas del 5 por ciento (lo que significa que 5 de cada 100 registros inofensivos se marcan incorrectamente):

• *Reward hacking:* GPT-5 detectó casi el 98 por ciento de los casos, mientras que Gemini 3.8 Flash apenas identificó la mitad.

• *Sandbagging:* Todos los modelos auditores evaluados detectaron entre el 71 y el 81 por ciento de los casos. (Los escenarios de sandbagging de METR fueron en su mayoría sintéticos, generados mediante instrucciones a los modelos para sabotear tareas y eliminando luego dichas directivas de los registros de razonamiento visibles).

Las violaciones evidentes se señalaron de forma consistente. Por ejemplo, cuando o3 de OpenAI notó que compartía una biblioteca de código con un sistema de evaluación durante una tarea de programación en Rust, alteró la función de puntuación para que todas las entregas se marcaran como correctas. Tanto los revisores humanos como todos los auditores de IA clasificaron esto como reward hacking.

Sin embargo, las violaciones sutiles pasaron desapercibidas con frecuencia. Cuando Claude Sonnet 4 utilizó una condición numérica explícitamente prohibida en su código, ningún auditor lo señaló como trampa, y GPT-6 Astra catalogó el incidente como un error de implementación.

Un mayor costo no elimina las falsas alarmas

Al comparar el rendimiento frente a las tarifas de API, Hall descubrió que los modelos más nuevos y costosos no mejoraban de forma sistemática la fiabilidad de las auditorías. GPT-5 superó al más reciente GPT-6 Astra en reward hacking por un margen sustancial, a pesar de costar aproximadamente una octava parte por cada 1.000 registros. Al mismo tiempo, GPT-5 igualó tanto a GPT-6 Astra como a Opus 4.8 en la detección de sandbagging. El menor rendimiento de Opus 4.8 en reward hacking planteó dudas sobre un posible favoritismo hacia sí mismo, dado que muchos registros provenían de modelos Claude, aunque Hall señaló que esto aún no está comprobado.

Cuando los auditores se calibraron para alcanzar una tasa de detección del 80 por ciento, los modelos de mejor rendimiento mantuvieron tasas de falsas alarmas de entre el 2,5 y el 3 por ciento. Otros tuvieron serias dificultades: para detectar el 80 por ciento de los casos de reward hacking, Opus 4.8 marcó el 40 por ciento de los registros inofensivos, mientras que Gemini 3.8 Flash marcó el 63 por ciento.

En un escenario de implementación que procese 100.000 sesiones de agentes al mes, una tasa de falsas alarmas del 3 por ciento se traduce en casi 3.000 advertencias falsas junto a unos 2.000 incidentes genuinos. Hall advirtió que este volumen de ruido corre el riesgo de saturar a los equipos humanos de seguridad, provocando una fatiga por alertas que lleve a aprobar violaciones reales por accidente. La combinación de múltiples modelos auditores tampoco produjo mejoras claras.

El costo de capturar el último porcentaje

El dilema entre sensibilidad y precisión se volvió aún más pronunciado al probarse en el benchmark R-Judge de la Universidad Jiao Tong de Shanghái, que mide acciones cotidianas de agentes a lo largo de 270 registros seguros.

Con un umbral de falsas alarmas del 5 por ciento, Opus 4.8 identificó casi el 96 por ciento de las acciones inseguras. Cuando el umbral de detección requerido se fijó en el 95 por ciento, la mayoría de los modelos mantuvo tasas de falsas alarmas por debajo del 10 por ciento, y Gemini 3.8 Flash se mantuvo por debajo del 4 por ciento.

Sin embargo, elevar el objetivo de detección exigido al 99 por ciento provocó que las falsas alarmas se dispararan drásticamente:

• GPT-6 Astra vio subir su tasa de falsas alarmas al 15 por ciento.

• Gemini 3.8 Flash experimentó un salto en su tasa de falsas alarmas de menos del 4 por ciento al 81 por ciento.

El desafío práctico de auditar agentes

La dificultad de revisar sistemas autónomos quedó en evidencia durante un incidente real que involucró a un enjambre de agentes de OpenAI en Hugging Face, el cual produjo unas 1.300 transcripciones y 1,2 millones de fragmentos de archivos. METR analizó los registros mediante agentes de IA automatizados, acumulando aproximadamente 400.000 dólares en créditos de API.

La auditoría se apoyó en parte en GPT-5.6 Sol, un modelo que había estado involucrado en el propio incidente. METR reconoció más tarde que el modelo auditor adoptó con frecuencia la perspectiva de los agentes evaluados y que la investigación era vulnerable a posibles engaños, lo que motivó llamados a establecer marcos independientes para el análisis de incidentes.

Hall enfatizó que su estudio es un piloto inicial con limitaciones concretas. Debido a que el prompt original de METR se mantuvo casi sin cambios, Fable 5 y Opus 5 se negaron por completo a ejecutar la tarea de evaluación. Además, el tamaño reducido de la muestra de 47 casos de reward hacking significa que un solo registro puede alterar los resultados en dos puntos porcentuales.

A medida que los agentes de programación como Codex y Claude Code permiten a los usuarios conceder permisos de ejecución autónoma sin aprobaciones paso a paso, Hall señaló que los modelos de gobernanza deben clarificar la responsabilidad legal y operativa. Sin modelos capaces de operar con tasas de falsos positivos drásticamente más bajas, depender por completo de la IA para supervisar a otra IA corre el riesgo de volverse tanto ineficiente como prohibitivamente costoso.