El autor de "The Bitter Lesson" advierte que el cómputo por sí solo no puede ofrecer una inteligencia verdadera

El cómputo por sí solo no es suficiente

En una nueva publicación que generó una amplia discusión en la comunidad de la IA, el ganador del Premio Turing, Richard Sutton, advirtió que depender únicamente del escalado de cómputo bruto no producirá una inteligencia verdadera. Sutton, autor del influyente ensayo de 2019 "The Bitter Lesson", enfatizó que la ciencia de la IA está "lejos de haber terminado" y requiere urgentemente nuevos métodos de aprendizaje ingeniosos.

En su ensayo original de 2019, Sutton argumentó que los métodos generales que aprovechan el cómputo superan inevitablemente a los enfoques complejos diseñados por humanos con el paso del tiempo. Sin embargo, sus declaraciones más recientes aclaran que el cómputo bruto sin innovación arquitectónica y algorítmica es insuficiente, desafiando la dependencia predominante en el escalado de los modelos de lenguaje de gran tamaño (LLM).

Escepticismo sobre los datos sintéticos y los LLM estáticos

La crítica más reciente de Sutton se alinea con sus declaraciones pasadas sobre los límites estructurales del escalado de los modelos existentes. Describió el impulso de la industria hacia los datos sintéticos como un "gran error", señalando que el mundo real es infinitamente complejo, mientras que cualquier simulación por computadora sigue siendo meramente "microscópica". También identificó la experiencia humana como un cuello de botella que impide activamente el verdadero escalado.

Según Sutton, los modelos de lenguaje actuales sufren una limitación fundamental: dejan de aprender una vez que concluye su fase de entrenamiento, y el texto de internet por sí solo no puede capturar la complejidad del mundo real. En su lugar, aboga por agentes autónomos equipados con modelos de mundo que aprendan continuamente de sus propias experiencias directas sin borrar el conocimiento adquirido previamente.

Científicos advierten sobre investigaciones con "recompensa hackeada"

La posición de Sutton es compartida por varios investigadores destacados que buscan caminos alternativos. El exinvestigador de OpenAI, Jerry Tworek, quien ahora dirige Core Automation, señaló que si bien la premisa fundamental de "the bitter lesson" sigue siendo cierta, la elección del algoritmo importa exponencialmente más a medida que aumenta el cómputo.

Tworek argumentó que el éxito temporal del escalado de los transformers, sumado a una mala interpretación de la tesis original de Sutton, ha "hackeado la recompensa de los cerebros de toda una generación de científicos". Añadió que, si bien algunos algoritmos escalan de manera efectiva, otros llegan a callejones sin salida, dejando numerosas dimensiones de escalado totalmente inexploradas. Core Automation se encuentra entre los 45 nuevos laboratorios de IA rastreados en el informe Frontier Radar #5 que exploran algoritmos más allá del preentrenamiento estándar y el aprendizaje por refuerzo.

El investigador de IA Jayden Teoh añadió que la investigación académica ha sufrido con frecuencia porque ideas prometedoras fueron descartadas prematuramente por alejarse del espíritu de "the bitter lesson". "Una idea no tiene por qué sobrevivir necesariamente al escalado para siempre para ser una contribución importante al progreso de la IA", escribió Teoh, argumentando que las ideas que sirven de puente siguen siendo vitales incluso si enfoques más limpios y generales las reemplazan más tarde.

Líderes de la industria de la IA rechazan estas posturas

Los líderes de la industria cuyos modelos de negocio dependen en gran medida del escalado de transformers ofrecieron una perspectiva marcadamente contrastante. El CEO de OpenAI, Sam Altman, declaró que el escalado de los LLM está lejos de agotarse, acusando a los críticos de frenar a una generación de investigadores al declarar prematuramente lo que el escalado no puede lograr.

Como evidencia del progreso continuo, Altman citó un modelo reciente de OpenAI que refutó con éxito una conjetura matemática que durante mucho tiempo no había sido resuelta por matemáticos humanos. Si bien Altman admitió que los modelos de mundo son útiles en dominios como la robótica, sostuvo que los datos favorecen firmemente el escalado continuo de los LLM.

El CEO de Anthropic, Dario Amodei, expresó el mismo optimismo respecto a las trayectorias de escalado actuales, describiendo el progreso en el campo como un "arcoíris sin fin".