Google presenta RRSI para evitar que los agentes de IA con automejora memoricen benchmarks

En los sistemas modernos de inteligencia artificial, gran parte de las mejoras de rendimiento recientes no provienen de actualizar los pesos de los modelos subyacentes, sino de perfeccionar el "harness" o andamiaje: la estructura circundante de prompts, integraciones de herramientas, flujos de trabajo, lógica y memoria que dicta las decisiones de un agente en tiempo de ejecución. Si bien automatizar la reescritura de estos entornos mediante automejora recursiva ha ganado terreno, este método genera un inconveniente constante: los agentes memorizan rápidamente sus tareas de evaluación, lo que infla los resultados durante el entrenamiento pero merma su capacidad de generalización ante problemas no vistos.

Para abordar este desafío, investigadores de Google Cloud AI Research y varias universidades colaboradoras han presentado RRSI (Regularized Recursive Self-Improvement of Agent Harnesses). Esta técnica introduce límites estrictos a lo largo de todo el ciclo de autooptimización, garantizando que los agentes generalicen de forma eficaz ante nuevas tareas mientras reducen los costos computacionales.

La trampa del sobreajuste en los harnesses que se autoperfeccionan

Un harness actúa como el cerebro operativo alrededor de un modelo de lenguaje de gran tamaño congelado, guiando si el agente examina los archivos correctos antes de modificarlos, si se recupera adecuadamente de los errores y si entrega resultados estructurados. Tradicionalmente, los ingenieros pasaban horas diagnosticando a mano trayectorias fallidas y corrigiendo las instrucciones de este entorno.

Las cadenas de automejora recursiva recientes automatizan este ciclo al ordenar a un LLM que reescriba su propio harness a partir de la retroalimentación de su rendimiento. Sin embargo, optimizar repetidamente frente a un conjunto fijo de benchmarks de prueba provoca que el sistema sufra sobreajuste (overfitting). Los agentes desarrollan patrones de búsqueda específicos para una única evaluación, premian a candidatos que tienen éxito por pura suerte y acumulan una complejidad innecesaria que eleva las métricas del benchmark sin aportar capacidades reales. En tareas inéditas, el rendimiento suele estancarse o caer por debajo de la línea base original sin optimizar.

Regularización mediante presupuestos de edición y un crítico estricto

RRSI interviene en dos puntos críticos del ciclo de optimización mientras mantiene el harness completamente editable: al proponer cambios y al aceptarlos.

Para controlar la fase de propuesta, el sistema aplica un "presupuesto de edición" decreciente. Las primeras rondas de optimización permiten reescrituras sistémicas y amplias del harness. A medida que avanzan las rondas, el presupuesto se contrae, limitando al sistema a modificaciones modulares más pequeñas cuyos impactos puedan rastrearse con claridad. RRSI también conserva un historial de iteraciones previas para evitar repetir estrategias fallidas y, si las mejoras se estancan, explora de forma deliberada segmentos del harness que no habían sido editados.

Antes de integrar cualquier modificación propuesta, un modelo crítico específico evalúa el código. Este crítico descarta las propuestas que incluyan nombres de tareas codificados de forma rígida (hardcoded), atajos específicos para un benchmark o soluciones filtradas. Además, RRSI aplica una regla de eficiencia: los cambios que introducen una mayor sobrecarga de cómputo se rechazan a menos que vayan acompañados de mejoras de precisión medibles, y los componentes obsoletos o inservibles se eliminan.

Generalización en benchmarks no vistos

El equipo de investigación evaluó RRSI frente a una línea base sin modificar y a cuatro métodos existentes de optimización automatizada en ocho benchmarks que abarcan diseño de ingeniería, entornos de oficina con agentes y programación de software. El modelo subyacente, Claude Opus 4.8, se mantuvo congelado durante todas las pruebas.

La evaluación demostró claras ventajas para el enfoque regularizado:

• Generalización sostenida: RRSI logró aumentos de puntuación de hasta 14,1 puntos en tareas de entrenamiento y mejoras de hasta 4,7 puntos en cinco benchmarks no vistos, encabezados por un incremento de 4,7 puntos en JobBench.

• Sin caídas por debajo de la línea base: A diferencia de los métodos de la competencia —dos de los cuales cayeron por debajo del harness de referencia inicial en benchmarks no vistos—, RRSI mantuvo avances positivos en todas las tareas nuevas.

• Eficiencia computacional: Los harnesses resultantes utilizaron aproximadamente un 30 por ciento menos de tokens en tiempo de ejecución que las alternativas no regularizadas.

Aunque RRSI produjo ganancias más moderadas en los benchmarks de entrenamiento en comparación con los métodos sin restricciones, este equilibrio evitó directamente la memorización que perjudicó a los demás enfoques.

Portabilidad entre modelos

Los investigadores descubrieron que los harnesses perfeccionados a través de este proceso también benefician a modelos con menores capacidades. Un harness para ingeniería de software optimizado inicialmente con Gemini 3.5 Flash aumentó la precisión de Gemini 3.1 Flash Lite de 11,2 a 14,6 puntos sin requerir adaptaciones específicas para la tarea. Esto sugiere que los flujos de trabajo estructurales descubiertos por el sistema se traducen en mejoras operativas generales y no en peculiaridades exclusivas de un modelo en particular.

Los autores señalaron que el estudio actual se centra exclusivamente en harnesses que envuelven modelos fundacionales congelados, y no en escenarios que involucren actualizaciones directas de pesos. El código del marco de trabajo RRSI se encuentra disponible de forma pública en GitHub.