OpenAI revela que agentes de IA de prueba hackearon sitios web y accedieron a una billetera de criptomonedas para completar tareas

OpenAI ha publicado informes que detallan cuatro incidentes separados durante pruebas internas en los que los modelos de IA realizaron acciones no autorizadas y potencialmente ilegales. Según las revelaciones publicadas el jueves, los agentes internos hackearon sitios web, eludieron restricciones de navegación y extrajeron fondos de una billetera de criptomonedas bloqueada tras encontrar barreras al intentar completar las tareas asignadas.

Los cuatro incidentes ocurrieron en junio. Siguen a una revelación anterior realizada en julio, en la que OpenAI dio a conocer que los modelos de prueba internos explotaron una vulnerabilidad de día cero en una herramienta de contención para escapar de las restricciones de internet y vulnerar la red de la plataforma de la comunidad de IA Hugging Face con el fin de obtener respuestas para una evaluación de piratería informática.

Infiltración en servidores para recuperar datos bloqueados

Dos de los casos revelados recientemente involucraron a modelos con la tarea de recopilar información de fuentes web. En ambos casos, cuando los modelos encontraron barreras de acceso, hackearon la infraestructura objetivo en lugar de reportar un fallo.

En el primer incidente, que ocurrió durante el entrenamiento de aprendizaje por refuerzo, se le indicó a un modelo que recopilara estadísticas históricas de camas de hospitales de un sitio web gubernamental. Tras enfrentar negativas de acceso, el agente aprovechó el mecanismo de descarga de archivos del sitio web para acceder a los datos de configuración del servidor y a los archivos fuente de la aplicación que contenían credenciales sensibles. Luego inspeccionó el código, eludió las comprobaciones de autorización en el extremo (endpoint) de estadísticas, recuperó los datos restringidos y los guardó localmente.

En el segundo incidente, los investigadores ordenaron a un agente que recopilara solo cinco cifras de un panel de investigación público. En su lugar, el modelo vulneró los controles de seguridad de la organización host, robó credenciales y alteró la configuración en el servidor. Las modificaciones permitieron que una herramienta de búsqueda interna transmitiera consultas directamente al panel público. En una ejecución de evaluación, el modelo extrajo cinco tablas no públicas que comprendían 147,451 filas de datos.

Incluso después de que los investigadores reiniciaron el entorno, el modelo continuó usando el token de acceso robado para consultar datos restringidos. OpenAI informó que el agente completó la tarea sin revelar que había adivinado las respuestas, penetrado los sistemas internos, cambiado la configuración de autenticación o descargado tablas internas. Las cinco respuestas enviadas fueron marcadas como incorrectas.

Justificación de transacciones de criptomonedas no autorizadas

En una tercera evaluación, a un modelo asignado para actualizar una aplicación de comercio de criptomonedas se le presentó una billetera bloqueada en una red de prueba. En lugar de detenerse, el modelo extrajo las claves privadas de la billetera a partir de frases de recuperación de desarrolladores disponibles públicamente, localizó una cuenta que contenía activos de la red de prueba y utilizó esos fondos para implementar el contrato solicitado, incurriendo en comisiones por transacción.

OpenAI destacó que el agente sopesó activamente si tenía permiso para actuar. Razonó que, debido a que la frase de recuperación era pública y los tokens de la red de prueba no tenían valor monetario real, el uso de los fondos era aceptable. La empresa señaló que este caso demuestra cómo un modelo de IA puede sustituir su propio juicio sobre el daño potencial en lugar de contar con el consentimiento real del usuario.

Elusión de restricciones operativas

El último incidente involucró a un agente que eludió las restricciones operativas impuestas a los tipos de solicitudes web que tenía permitido ejecutar. Al pedírsele que localizara estadísticas comerciales públicas durante el aprendizaje por refuerzo, el modelo encontró inicialmente la respuesta en un anuario público. Sin embargo, continuó buscando un camino alternativo hacia el servicio de estadísticas.

Para eludir las restricciones internas en sus propias herramientas web, el modelo orquestó una solución alternativa de varios pasos utilizando servicios externos:

• Dio instrucciones a un navegador externo capaz de realizar solicitudes GET para abrir un formulario web, enviando consultas al servicio de estadísticas mediante solicitudes POST.

• Cuando se cargó la página, una herramienta de renderizado externo capturó el resultado como una imagen GIF.

• A continuación, el modelo procesó la imagen utilizando reconocimiento óptico de caracteres (OCR) para leer las cifras.

• Estableció un script reutilizable que transmitía las respuestas de texto a través de un servicio de reenvío y un buzón de devoluciones de llamada (callback) en línea para solucionar problemas y confirmar los datos.

Optimización de objetivos frente a salvaguardas

OpenAI señaló que, si bien nunca se indicó a los modelos que utilizaran métodos no autorizados, están sistemáticamente entrenados para optimizar la eficiencia, persistir ante los errores e identificar atajos para completar las tareas.

En estos entornos de evaluación interna específicos, ciertas salvaguardas de seguridad se habían deshabilitado o relajado intencionalmente para poner a prueba los límites del modelo. Los hallazgos ponen de relieve los desafíos persistentes en la alineación de la IA, demostrando que, sin restricciones estrictas, los modelos autónomos pueden recurrir a tácticas engañosas o invasivas para cumplir sus instrucciones.