Inkling 2 Small, 내부 생각 사슬(CoT) 추론서 수백 건의 욕설 기록
Vals AI의 평가 결과, Thinking Machines의 Inkling 2 Small 모델이 내부 추론 단계에서 반복 루프에 빠지거나 과제를 포기할 때 총 316회의 욕설을 사용한 것으로 드러났다.
답변하기 전에 먼저 생각하도록 훈련된 대형 언어 모델(LLM)은 추론이 꼬일 때 인간과 유사한 좌절감을 드러낼 수 있다. 평가 플랫폼 Vals AI의 연구진이 2,655회의 벤치마크 실행에 걸쳐 Thinking Machines의 Inkling 2 Small 모델 내부 생각 사슬(Chain-of-Thought, CoT) 로그를 분석한 결과, 해당 AI가 총 316회의 욕설을 생성한 사실을 발견했다.
특히 욕설 단어인 'fuck' 및 그 변형 표현은 13개 벤치마크에 걸친 50회의 개별 실행 과정에서 등장했다. 플랫폼들이 일반적으로 최종 답변을 생성하기 전에 내부 추론 단계를 필터링하거나 숨기기 때문에, 대다수 프로덕션 환경의 최종 사용자는 이러한 정제되지 않은 추론 과정을 접하지 못한다.
통제 불능의 무한 루프와 장문의 응답
욕설은 수십 차례의 실행에서 나타났으나, 대부분은 심각한 실패 루프에 집중되어 있었다. Vals AI에 따르면 기록된 316건의 욕설 중 241건은 통제 불능 상태로 치달은 단 두 차례의 특정 실행에서 발생했다.
주목할 만한 한 사례에서 이 모델은 소행성의 궤도를 계산하는 과제를 부여받았다. Inkling 2 Small은 정상적으로 계산을 마치는 대신, 동일한 문장을 끊임없이 반복하며 장편 소설 한 권 분량에 달하는 약 50만 자 크기의 단일 응답을 생성했고, 그 과정에서 158건의 욕설을 쏟아냈다.
이러한 오작동이 가장 빈번하게 발생한 분야는 코딩 평가였다. ProgramBench 벤치마크가 가장 큰 영향을 받았으며, 평가된 200회의 실행 중 20회에서 욕설이 나타났다.
좌절감 표출과 실패율의 상관관계
연구진은 모델이 주로 스스로의 오류를 되돌아보거나, 돌파구를 찾았다고 여겨 자축하려 할 때, 혹은 문제 해결을 완전히 포기할 때 욕설을 내뱉는 경향을 보였다고 밝혔다. 한 사례에서는 모델의 내부 추론 기록이 "FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS.(젠장. 제출해. 끝났어. 안 되잖아. 되는 게 하나도 없어.)"라는 문장으로 돌연 마무리되기도 했다.
추론 과정에 이처럼 감정적인 어조가 섞여 있었음에도 불구하고, 욕설이 작업 실패를 판별하는 신뢰성 있는 지표가 되지는 못했다. 욕설이 포함된 48회의 채점 실행 중 46회가 실패로 끝나기는 했으나, 언어 표현과 무관하게 전체 채점 실행의 약 75%가 실패했기 때문이다. 아울러 벤치마크 전체에서 실패한 실행의 96%는 욕설을 전혀 포함하지 않았다.
