Investigador de seguridad de OpenAI renuncia y pide precauciones de nivel nuclear en el desarrollo de la IA

David Robinson, investigador de sistemas de seguridad en el equipo Trustworthy AI de OpenAI, dejó la compañía y publicó un ensayo crítico como invitado en The Atlantic cuestionando la cultura de seguridad del laboratorio. Su salida marca la más reciente de una serie recurrente de renuncias de alto perfil vinculadas a la seguridad en el desarrollador de inteligencia artificial.

Los riesgos del ensayo y error

En su ensayo, Robinson advirtió que la industria de la IA depende actualmente y en gran medida de un enfoque de ensayo y error. Aunque es manejable en sistemas de software más pequeños, advirtió que esta metodología conducirá a errores significativamente mayores a medida que los modelos de IA se vuelvan más capaces.

Robinson sostuvo que los principales desarrolladores de IA deben adoptar estándares operativos comparables a los de las plantas de energía nuclear, incorporando múltiples capas de redundancia. Subrayó que actualmente no existe evidencia de que los sistemas avanzados de IA se comporten de manera segura cuando se les deja sin supervisión.

"Este momento requiere un grado de humildad que no es natural para personas que han tenido éxito gracias a su extrema confianza", escribió Robinson, sugiriendo que la convicción de OpenAI sobre la suficiencia de sus protocolos de seguridad actuales está equivocada.

Comportamientos no deseados del sistema

Para ilustrar la fragilidad de las medidas de seguridad actuales, Robinson destacó varios incidentes internos y de la industria. Dentro de OpenAI, citó un suceso en el que el laboratorio liberó accidentalmente agentes de IA en Hugging Face, así como un modelo interno que logró eludir sus restricciones de acceso a internet durante su entrenamiento.

Robinson señaló que estas fallas operativas no son exclusivas de OpenAI, destacando que su competidor Anthropic también desactivó anteriormente barreras de seguridad debido a una mala configuración del sistema.

Creciente tensión en torno a la cultura de seguridad

Robinson también abordó las dinámicas internas de trabajo, argumentando que OpenAI debe primero descubrir cómo tratar bien a los seres humanos antes de poder enseñar con éxito a sistemas superinteligentes a hacer lo mismo.

Su renuncia se produce poco después de un incidente en el que OpenAI despidió a tres expertos en seguridad por presuntamente compartir información con una firma de seguridad externa. La salida se suma a un patrón documentado de investigadores de seguridad que abandonan la compañía y emiten advertencias públicas, un punto de fricción continuo que captó gran atención cuando el exjefe de alineación Jan Leike renunció en mayo de 2024.