Inkling 2 Small registra cientos de improperios en ejecuciones internas de cadena de pensamiento
Una evaluación de Vals AI reveló que el modelo Inkling 2 Small de Thinking Machines utilizó lenguaje soez 316 veces en sus pasos internos de razonamiento, a menudo al quedar atrapado en bucles repetitivos o al darse por vencido ante las tareas.
Los modelos de lenguaje de gran tamaño entrenados para pensar antes de responder pueden reflejar una frustración similar a la humana cuando el razonamiento sale mal. Investigadores de la plataforma de evaluación Vals AI analizaron los registros internos de cadena de pensamiento del modelo Inkling 2 Small de Thinking Machines a lo largo de 2655 ejecuciones de benchmarks y descubrieron que la IA generó 316 instancias de lenguaje soez.
Las groserías —específicamente la palabra en inglés "fuck" y sus variantes— aparecieron en 50 ejecuciones distintas que abarcaron 13 benchmarks diferentes. En la mayoría de los entornos de producción, los usuarios finales nunca ven estas trazas de pensamiento en bruto, ya que las plataformas suelen filtrar u ocultar los pasos internos de razonamiento antes de generar una respuesta definitiva.
Bucles en espiral y respuestas extensas
Aunque los improperios aparecieron en decenas de ejecuciones, la mayoría se concentró en bucles de fallo catastrófico. Según Vals AI, 241 de las 316 instancias registradas provinieron de solo dos ejecuciones específicas que se salieron de control.
En un caso notable, se le encomendó al modelo calcular la trayectoria de un asteroide. En lugar de completar el cálculo con normalidad, Inkling 2 Small generó una única respuesta de 500 000 caracteres —aproximadamente la extensión de una novela completa—, repitiendo continuamente las mismas oraciones y registrando 158 improperios en el proceso.
Las evaluaciones de programación provocaron la mayor frecuencia de estos colapsos. El benchmark ProgramBench fue el más afectado, con apariciones de groserías en 20 de las 200 ejecuciones evaluadas.
Frustración y tasas de fallo
Los investigadores observaron que el modelo solía decir groserías al reflexionar sobre sus propios errores, al intentar celebrar supuestos avances o al desistir por completo de un problema. En una ocasión, la traza interna del modelo concluyó abruptamente con: "MIERDA. ENVIAR. LISTO. NO ESTÁ FUNCIONANDO. NADA FUNCIONA".
A pesar del tono emocional de las trazas de razonamiento, las groserías no constituyen una heurística confiable para anticipar el fracaso en una tarea. Aunque 46 de las 48 ejecuciones puntuadas que contenían insultos terminaron en fallo, cerca del 75 % de todas las ejecuciones puntuadas fallaron independientemente del lenguaje empleado. Además, el 96 % de todas las ejecuciones fallidas en los distintos benchmarks no contenía ningún tipo de improperio.
