Fable 5.2 de Anthropic completa más del 41% de trabajos freelance reales en el Remote Labor Index

El modelo de IA más reciente de Anthropic, Fable 5.2, ha demostrado un gran salto en sus capacidades prácticas al completar el 41,3 por ciento de proyectos freelance del mundo real con calidad profesional, según los nuevos resultados de referencia del Remote Labor Index (RLI).

El RLI, desarrollado conjuntamente por Scale Labs y el Center for AI Safety (CAIS), mide con qué éxito los agentes de IA autónomos pueden ejecutar trabajos reales de clientes con la calidad suficiente para ser aceptados por clientes de pago. La puntuación del 41,3 por ciento de Fable 5.2 establece una ventaja dominante, completando más del doble de trabajos que su predecesor directo y casi duplicando el rendimiento de los modelos de frontera de la competencia.

Una rápida evolución en el trabajo práctico de los agentes

Los resultados del benchmark destacan la rapidez con la que los agentes de IA han progresado, pasando de demostraciones aisladas a la ejecución de flujos de trabajo profesionales sostenidos. Cuando se lanzó el benchmark RLI hace aproximadamente un año, el agente líder en ese momento —Manus— terminó con éxito solo el 2,5 por ciento de las tareas. Fable 5.2 ahora completa más de 16 veces esa cantidad de encargos profesionales.

El salto es igualmente marcado en intervalos más cortos:

• Julio: Fable 5 lideró el índice con aproximadamente un 16 por ciento.

• Fable 5.1: Quedó muy por detrás de Fable 5.2, con una puntuación de poco menos del 18 por ciento.

• Competidores actuales: Opus 5.5 de Anthropic ocupa el segundo lugar con un 21,25 por ciento, ligeramente por delante de GPT 6 Astra de OpenAI con un 20,83 por ciento. El sistema de Google con mejor rendimiento en la prueba, Gemini Argon 4, obtuvo un 17,08 por ciento, mientras que sistemas más antiguos como GPT-5.2 y Gemini 3 Pro languidecen por debajo del 3 por ciento.

Avances y limitaciones actuales

Según Scale Labs, Fable 5.2 logró sus avances más sustanciales en edición de audio y música, diseño arquitectónico y de interiores, y modelado 3D. El sistema completó con éxito casi 50 tareas complejas que ningún agente de IA en el benchmark había resuelto antes, demostrando una capacidad para navegar proyectos de largo alcance que normalmente causan que los modelos se desvíen.

Sin embargo, persisten barreras significativas. El modelo todavía tiene dificultades con el diseño de productos industriales y las tareas de animación. Cuando los agentes fallan en el RLI, los investigadores señalaron que generalmente producen resultados de nivel aficionado, archivos de proyecto dañados, diseños contradictorios o entregables incompletos.

Pruebas frente a 144.000 dólares en contratos del mundo real

A diferencia de los benchmarks sintéticos que evalúan acertijos de programación aislados o preguntas de opción múltiple, el RLI evalúa encargos profesionales de principio a fin. El conjunto de evaluación consta de 240 proyectos completados provenientes de 358 freelancers verificados en Upwork, lo que representa aproximadamente 144.000 dólares en trabajo pagado real.

Cada proyecto en el conjunto de prueba tiene un costo promedio de 632,60 dólares y requiere un promedio de poco menos de 29 horas de trabajo humano. Las tareas abarcan disciplinas como dibujo CAD, producción de video, desarrollo de videojuegos y análisis de datos. Para completar estos encargos, los agentes de IA operan dentro de entornos virtuales equipados con software estándar de la industria, incluidos Blender, GIMP y Audacity, complementados con herramientas especializadas de generación por IA.

Las entregas son evaluadas manualmente por especialistas humanos capacitados que abren los archivos de salida en el software nativo y los comparan directamente con el entregable original del freelancer humano. El CAIS intentó automatizar el proceso de calificación utilizando modelos de IA evaluadores, pero los jueces automatizados fallaron; al no poder navegar con destreza el software profesional especializado, los revisores automatizados se dejaron engañar repetidamente por el pulido superficial y otorgaron puntuaciones infladas a entregas técnicamente defectuosas.