앤스로픽 Fable 5.2, 원격 노동 지수서 실제 프리랜서 업무 41% 이상 완수

앤스로픽의 최신 AI 모델 Fable 5.2가 원격 노동 지수(Remote Labor Index, RLI)의 새로운 벤치마크 결과에서 실제 프리랜서 프로젝트의 41.3%를 전문가 수준의 품질로 완수하며 실무 능력의 비약적인 발전을 입증했다.

Scale Labs와 AI 안전 센터(CAIS)가 공동 개발한 RLI는 자율형 AI 에이전트가 실제 고객의 업무를 유료 결제가 가능할 정도로 성공적으로 수행하는지 측정한다. Fable 5.2는 41.3%의 점수를 기록하며 압도적인 선두를 차지했으며, 이는 이전 모델보다 2배 이상, 경쟁 프런티어 모델들보다 약 2배 높은 성과다.

실무 에이전트 작업의 급격한 진화

이번 벤치마크 결과는 AI 에이전트가 단순한 데모 수준을 넘어 지속적인 전문 워크플로우를 실행하는 단계로 얼마나 빠르게 발전했는지 보여준다. 약 1년 전 RLI 벤치마크가 처음 시작되었을 당시 선두 에이전트였던 Manus의 작업 완수율은 단 2.5%에 불과했다. 현재 Fable 5.2는 당시보다 16배 이상 많은 전문 과업을 완수하고 있다.

이러한 성장은 단기간 내에도 뚜렷하게 나타났다.

• 7월: Fable 5가 약 16%로 지수 선두를 차지했다.

• Fable 5.1: 18%를 약간 밑도는 점수를 기록하며 Fable 5.2에 크게 뒤처졌다.

• 현재 경쟁 모델: 앤스로픽의 Opus 5.5가 21.25%로 2위를 차지했으며, OpenAI의 GPT 6 Astra(20.83%)를 근소한 차이로 앞섰다. 구글의 최고 성능 모델인 Gemini Argon 4는 17.08%를 기록한 반면, GPT-5.2나 Gemini 3 Pro와 같은 구형 시스템은 3% 미만의 낮은 성적에 머물렀다.

돌파구와 현재의 한계

Scale Labs에 따르면, Fable 5.2는 오디오 및 음악 편집, 건축 및 인테리어 디자인, 3D 모델링 분야에서 가장 괄목할 만한 성과를 거두었다. 이 시스템은 이전까지 어떤 AI 에이전트도 해결하지 못했던 약 50개의 복잡한 과업을 성공적으로 완수했으며, 특히 모델의 오류를 유발하기 쉬운 장기 프로젝트를 관리하는 능력을 입증했다.

하지만 여전히 상당한 장벽이 존재한다. 이 모델은 산업 제품 디자인 및 애니메이션 작업에서 여전히 어려움을 겪고 있다. 연구진은 에이전트가 RLI 테스트에서 실패할 경우, 대개 아마추어 수준의 결과물을 내놓거나 손상된 프로젝트 파일, 모순된 디자인, 혹은 미완성된 결과물을 제출하는 경향이 있다고 언급했다.

14만 4천 달러 규모의 실제 계약을 통한 테스트

단편적인 코딩 퍼즐이나 객관식 문제를 평가하는 합성 벤치마크와 달리, RLI는 엔드투엔드(end-to-end) 방식의 전문 과업을 평가한다. 평가 세트는 Upwork에서 검증된 프리랜서 358명으로부터 확보한 240개의 실제 프로젝트로 구성되어 있으며, 이는 약 14만 4천 달러 규모의 실제 유료 작업에 해당한다.

테스트 세트에 포함된 각 프로젝트의 평균 비용은 632.60달러이며, 인간이 작업할 경우 평균 29시간 미만의 노동력이 소요된다. 과업 범위는 CAD 도면 작성, 영상 제작, 게임 개발, 데이터 분석 등 다양한 분야를 아우른다. 이러한 과업을 완수하기 위해 AI 에이전트는 Blender, GIMP, Audacity 등 업계 표준 소프트웨어와 특화된 AI 생성 도구가 갖춰진 가상 환경 내에서 작동한다.

제출된 결과물은 훈련된 전문가들이 해당 소프트웨어로 직접 파일을 열어 인간 프리랜서의 원본 결과물과 대조하며 수동으로 평가한다. CAIS는 평가용 AI 모델을 활용해 채점 과정을 자동화하려 시도했으나 실패했다. 자동 평가 모델들은 전문 소프트웨어를 능숙하게 다루지 못해 겉보기에만 그럴듯한 결과물에 속아 넘어가거나, 기술적으로 결함이 있는 제출물에 과도하게 높은 점수를 부여하는 오류를 반복했다.