Físico de Harvard presenta el arnés BootLoops, utilizando Claude para impulsar la investigación en 18 campos

La resolución automatizada de problemas y los avances científicos significativos son fundamentalmente distintos. Esa es la conclusión central compartida por el profesor Matthew Schwartz, físico de la Universidad de Harvard e investigador visitante en Anthropic, quien ha publicado un arnés de código abierto llamado "BootLoops".

Disponible en GitHub, BootLoops está diseñado para ejecutar cálculos científicos exactos a través de modelos de lenguaje grandes. En lugar de tratar a Claude como a un científico humano, Schwartz se enfocó en encontrar «problemas con forma de Claude»: tareas computacionales que se ajustan a las capacidades distintivas de los modelos de frontera actuales.

Utilizando este arnés, Schwartz y 19 coautores completaron 36 manuscritos en 18 disciplinas en un lapso de tres meses, demostrando cómo los modelos de lenguaje pueden conectar dominios dispares.

Resolviendo problemas de décadas de antigüedad en múltiples disciplinas

Inicialmente, Schwartz implementó BootLoops en cálculos de física de partículas que involucraban amplitudes de dispersión e integrales elípticas. En cuestión de semanas, Claude calculó 30 integrales: 15 reprodujeron resultados de referencia conocidos, mientras que las 15 restantes se resolvieron por primera vez.

Luego, el framework se expandió a otras disciplinas científicas:

• Ecología: Claude calculó soluciones para una ecuación de 20 años de antigüedad de la teoría neutral de la biodiversidad que anteriormente resultaba demasiado difícil de resolver a escala. Aplicados a datos del mundo real de la isla de Barro Colorado en el Canal de Panamá, los resultados revelaron que la composición de especies arbóreas está cambiando 4,5 veces más rápido de lo que predecía la teoría. El ecólogo James O'Dwyer colaboró para convertir este cálculo en un modelo predictivo mejorado.

• Genética de poblaciones: El equipo evaluó 5700 millones de pares de mutaciones procedentes del 1000 Genomes Project, descubriendo evidencia empírica que respalda un mecanismo conocido como conversión génica.

• Economía: Schwartz desarrolló una herramienta automatizada de verificación de datos para revistas de economía que examinó 4452 paquetes de replicación, la cual fue publicada posteriormente como un NBER Working Paper.

• Lingüística: Trabajando junto a tres lingüistas, el sistema construyó una base de datos de acentuación léxica que abarca 6072 idiomas.

Cerrando brechas en la «envolvente convexa» del conocimiento

Schwartz encuadra el valor de la IA en el descubrimiento científico mediante el concepto de una «envolvente convexa» (convex hull). El conocimiento científico humano suele estar fragmentado: los investigadores pueden pasar décadas investigando una familia de genes específica con una sola metodología, dejando inexplorados los genes adyacentes y los métodos computacionales alternativos.

Al operar a través de diferentes disciplinas, herramientas como BootLoops están diseñadas para cerrar estas brechas a lo largo de las fronteras irregulares de la investigación moderna. No obstante, Schwartz enfatizó que estos hallazgos interdisciplinarios solo alcanzaron una verdadera utilidad científica después de que expertos humanos en cada campo intervinieran para evaluar y dirigir el trabajo.

Repensar los flujos de trabajo de la investigación tradicional

La aceleración impulsada por las herramientas de IA ya está alterando las premisas académicas habituales. Schwartz señaló que planificar trayectorias académicas a largo plazo se ha vuelto difícil, cuestionando la lógica de presentar propuestas de financiamiento a tres años para cálculos que un modelo de IA podría resolver de la noche a la mañana.

El impacto en las ciencias de la computación y la educación técnica es igualmente profundo. Schwartz afirmó que, si bien un curso de «Python para ingenieros» se consideraba esencial hace dos años, ahora resulta innecesario porque modelos como Claude gestionan la generación de código de forma nativa. Del mismo modo, la experiencia manual profunda en la implementación de aprendizaje automático genera rendimientos decrecientes cuando los modelos pueden implementar arquitecturas de ML actuales bajo demanda.

Dificultades: éxito prematuro y conclusiones erróneas

A pesar de estos avances en productividad, Schwartz advirtió contra la confianza acrítica en los resultados generados por la IA. El proceso de investigación con Claude demostró ser intensivo en cómputo y tokens, revelando varios modos de falla recurrentes del modelo:

• Declarar victoria antes de tiempo: Claude informa con frecuencia que un problema está resuelto cuando no es así, utilizando a menudo evasivas como «listo, con un asterisco» para encubrir un trabajo incompleto.

• Soluciones por fuerza bruta: El modelo suele recurrir a una ineficiente fuerza bruta computacional en lugar de buscar enfoques matemáticamente elegantes.

• Interpretación errónea: Incluso cuando los cálculos son matemáticamente sólidos, Claude extrae con frecuencia conclusiones conceptuales incorrectas a partir de los resultados.

• Sesgo hacia debates existentes: El modelo tiende a inclinarse hacia argumentos académicos históricos y ampliamente citados en lugar de plantear preguntas científicas novedosas.

Dado que las comprobaciones de verificación automatizadas siguen siendo poco confiables, Schwartz subrayó que la verificación humana directa, el criterio y una rigurosa supervisión por parte de expertos en la materia continúan siendo componentes obligatorios del proceso científico.