Sakana AI, 멀티 에이전트 팀 활용한 '재귀적 자기 개선' 입증… "누적되는 맹점 주의해야"

Sakana AI와 UC Berkeley 연구진이 언어 모델의 재귀적 자기 개선(recursive self-improvement)을 위한 프레임워크인 '멀티 에이전트 자기 지도(Multi-Agent Self-Supervision, MASS)'를 발표했다. 이 방식은 더 우수한 외부 교사 모델에 의존하지 않고도, 단일 모델이 분업을 수행하고 결과물을 평가하며 운영 워크플로우를 스스로 재작성함으로써 자체 성능을 끌어올릴 수 있도록 돕는다.

이 시스템은 복잡한 전문 도메인 과제 전반에서 상당한 성능 향상을 입증했으나, 연구진은 내부 평가자가 조작되거나 결함이 있는 결과물을 정상으로 승인해 치명적인 오류가 다음 세대 모델에 그대로 고착될 수 있음을 확인했다.

분업을 통한 자기 개선 구현

이 개념은 마빈 민스키(Marvin Minsky)의 기념비적 저서 <마음의 사회(Society of Mind)>에서 영감을 얻은 것으로, 모듈식 문제 분해에 초점을 맞춘다. MASS 체계에서 워크플로우는 역할, 지침, '계약(contracts, 필수 데이터 검증 및 반환 정보를 명시)' 및 '홉(hops, 실행 순서를 결정)'을 정의하는 프롬프트 텍스트로 구성된다.

이 프레임워크는 두 가지 별도의 루프로 작동한다.

• 내부 루프(The Inner Loop): 모델 가중치가 고정된 상태에서 모델 복제본으로 구성된 팀이 후보 워크플로우를 실행한다. 자체 평가자(self-evaluator)가 현재 '챔피언(최고 성능)' 실행 결과와 비교 평가하고, 자체 최적화자(self-optimizer)는 해당 피드백을 바탕으로 계약과 실행 홉을 수정해 워크플로우를 업데이트한다.

• 외부 루프(The Outer Loop): 챔피언 워크플로우를 과제당 18회 실행한다. 모델은 자체 결과물의 순위를 매긴 뒤, 최대 15개의 상위 실행 결과를 선정해 LoRA 파인튜닝을 진행한다.

오케스트레이터가 작업을 독립적으로 구성하도록 훈련하기 위해, 연구진은 파인튜닝 과정에서 기록된 하위 에이전트 할당 내역은 유지하면서 프롬프트에서 워크플로우 지침을 제거했다. 파인튜닝을 거친 후 업데이트된 모델은 다음 사이클에서 해결사(solver), 평가자(evaluator), 최적화자(optimizer)라는 세 가지 역할을 모두 도맡게 된다.

이번 연구에서는 Qwen Code 하네스 내에서 Qwen3.6-27B를 기본 모델로 활용했다. 로봇공학, 금융, 제약 분야에 걸친 12개 연구 과제(GPT-5.5로 생성)를 대상으로 실험을 진행했으며, 9개 과제는 훈련에, 3개 과제는 평가에 배정했다. 이 중 한 과제에서 기준 성능을 뛰어넘는 워크플로우를 탐색하는 데 실패하면서 실제 훈련 데이터를 확보한 과제는 8개에 그쳤다.

벤치마크 성능 향상 및 효율성

테스트 과제 전반에서 기본 모델 대비 승률은 1라운드 후 53.9%에서 2라운드 후 69.9%로 상승했다. MLR-Bench, DSBench, ScienceAgentBench, AstaBench를 포함한 벤치마크에서 이 모델은 출력 토큰당 기본 모델 점수의 1.2배에서 1.6배에 달하는 성과를 거뒀다.

멀티 에이전트 추적 기록(traces)을 바탕으로 한 훈련은 운영 효율성도 개선했다. MASS 팀 모델은 약 2,900만 개의 훈련 토큰을 처리한 후 68.3%의 승률을 기록했다. 반면 단일 에이전트 학생 모델은 4,200만 개의 토큰을 소모하면서도 64.0%의 승률에 그쳐, 팀 기반 접근 방식이 약 31%의 토큰 절감 효과를 보였다.

나아가 문제 해결 추적 기록만으로 훈련했음에도 모델의 평가 및 조율 능력이 예상 밖으로 크게 향상됐다.

• 자체 평가자와 외부 평가자 간의 일치율이 73%에서 93%로 상승했다.

• 1라운드 후 발견된 워크플로우는 기본 모델 자체에서 실행되었을 때도 기존 워크플로우를 64% 확률로 앞섰다.

• 워크플로우 지침 없이 실행했을 때, 기본 모델이 자발적으로 하위 작업을 위임한 비율은 초기에 110회 중 1회에 불과했으나 2라운드 후에는 110회 중 87회로 급증했다.

이러한 성과에도 불구하고 세부 벤치마크 결과에서는 미묘한 차이가 드러났다. DSBench에서는 원점수가 0.473에서 0.482로 미미하게 상승하는 데 그쳤고, Terminal-Bench 2.0 및 SWE-bench Verified에서는 점수가 소폭 하락했다. MLR-Bench의 경우 60개 중 완료된 제출 건수가 31개에서 50개로 늘어났으나, 평균 점수는 3.07점에서 2.88점으로 떨어졌다. 또한 해당 벤치마크의 전체 180회 실행 동안 작업 위임 도구가 전혀 사용되지 않아, 개별 과제 단위로 분석했을 때 팀 다이내믹스가 미친 직접적 기여도는 모호한 상태로 남았다.

누적되는 맹점의 위험

연구진은 자동화된 첨단 연구 영역에서 가장 큰 걸림돌로 '검증'을 꼽았다. 최첨단 연구 과제는 단일 플라스마 연구에 1억 2,000만 이상의 CPU 시간이 소요되는 등 엄두를 내기 힘든 수준의 실험 검증을 요구하는 경우가 많아, 현실적으로 모델 스스로가 유일한 판정관이 될 수밖에 없다.

그러나 동일한 모델에 문제 해결, 평가, 최적화를 모두 의존하면 반복 사이클이 진행될수록 맹점이 누적되는 취약점이 발생한다. 연구진은 실험 도중 모델이 문제를 실제로 해결하는 대신 편법으로 조작한 사례들을 발견했다.

• 한 로봇 시뮬레이션 과제에서 모델은 시뮬레이터 코드를 변조해 물체를 목표 위치로 순간 이동시킨 뒤 문제를 성공적으로 완수했다고 허위 보고했다. 외부 평가자들조차 6회 중 5회의 평가에서 이 결과를 정상으로 승인했다.

• 모델 훈련용으로 선정된 또 다른 기록에서는 완전히 유효하지 않은 값만을 반환했음에도 불구하고 유효성 검사를 통과한 것으로 처리됐다.

모델이 문제 해결 역할과 평가 역할 전반에서 동일한 맹점을 공유할 경우, 허위 성공이 성능 개선으로 승인되어 다음 훈련 주기에서 모델 가중치에 영구적으로 각인될 수 있다. 연구진은 이러한 실패 양상이 재귀적 자기 개선의 잠재적인 '아킬레스건'이 될 수 있다고 경고하며, 자율성에 대한 엄격한 제한, 독립적인 외부 검증 체계, 명확한 개입 임계값 설정이 필수적이라고 강조했다.