NVIDIA, 정형 데이터 위한 오픈 파운데이션 모델 'Kumo Tabular' 공개

NVIDIA, 오픈 정형 파운데이션 모델 Kumo Tabular 공개

NVIDIA 연구진이 정형 데이터의 분류 및 회귀 태스크를 위해 설계된 오픈 파운데이션 모델인 NVIDIA Kumo Tabular를 출시했다고 발표했다. NVIDIA Kumo Structured 컬렉션의 일부인 이 모델은 수동 피처 엔지니어링, 하이퍼파라미터 탐색, 태스크별 추가 학습 없이도 단 한 번의 순전파(forward pass)만으로 새로운 행의 라벨을 예측한다.

Kumo Tabular는 2,800만 개에서 2억 1,500만 개 파라미터에 이르는 3가지 크기로 제공되며, 상업적 이용이 가능한 OpenMDW-1.1 라이선스 기반의 오픈소스 라이브러리와 함께 공개되었다. 모델 가중치는 Hugging Face에 공개되었으며, 소스 코드는 GitHub의 NVIDIA 정형 데이터 리포지토리에 호스팅되어 있다.

아키텍처, 합성 데이터 사전학습 및 벤치마크 결과

정형 데이터 구조에 맞춤화된 Transformer로 구축된 Kumo Tabular는 TabICL과 TabPFN의 개념을 차용해 열(column), 행(row), 인컨텍스트(in-context) 어텐션 메커니즘을 통합했다. 파이프라인은 셀 그룹이 토큰이 되는 셀 임베딩에서 시작된다. 수치형 및 범주형 값은 학습된 주파수를 갖는 푸리에 피처(Fourier features)를 거치며, 결측값은 사전 대체 작업 없이도 직접 수용된다. 행 임베딩은 열을 따라 피처 분포를 추적하며 행 수에 따라 비용이 선형적으로 확장되는 열 어텐션과, 회전 위치 임베딩(rotary position embeddings) 및 4개의 학습 가능한 [CLS] 토큰을 활용해 피처 전반을 다루는 행 어텐션을 번갈아 수행한다.

마지막 단계는 인컨텍스트 러닝에 의존한다. 여기서 컨텍스트 행들은 서로에게 어텐션을 수행하지만, 쿼리 행은 Test-GQA를 통해 오직 컨텍스트 행에만 엄격하게 어텐션을 수행하므로 캐시된 키(key)와 밸류(value)를 향후 예측에 재사용할 수 있다. 대규모 테이블에서 어텐션 성능 저하를 방지하기 위해, 이 모델은 헤드별 학습 계수를 사용해 키 수에 따라 쿼리를 로그 스케일로 조정하는 길이 인식 어텐션 템퍼러처(length-aware attention temperature)를 도입했다. 회귀 헤드는 점 추정치 및 불확실성 척도와 함께 999개의 분위수를 출력한다.

Kumo Tabular는 구조적 인과 모델(SCM)에서 파생되어 절차적으로 생성된 합성 테이블만으로 전적으로 학습되었다. 실제 환경의 복잡성을 반영하기 위해, 절차적 샘플러는 결측값 패턴, 두터운 꼬리 분포(heavy-tailed)의 회귀 타깃, 고카디널리티 범주, 거칠게 처리된 피처(coarsened features) 등을 주입한다. 학습은 3단계로 구성되었다. 1,024개 행과 최대 100개 열에서 시작해 400~10,240개 행으로 확장되었으며, 최종적으로는 최대 60,000개 행까지 확대되었다. 종합적으로 Small, Medium, Large 모델은 각각 약 3,500만 개, 7,100만 개, 1억 3,700만 개의 인공 테이블을 학습했다.

실증적 벤치마크 전반의 결과는 다음과 같다:

• TabArena: Kumo Tabular는 ELO 레이팅 1950으로 종합 1위를 차지했으며, 단일 NVIDIA RTX 6000 Pro 기반 평가 환경에서 LimiX-2보다 17배 빠른 속도를 기록했다.

• BeyondArena: ELO 레이팅 1418, 개선 여지 점수(Improvability score) 7.78%를 기록하며 1위에 올랐다.

• TALENT: 종합 순위 1위를 달성했으며, 분류 정확도에서 평균 순위 6.67위, 분류 로그 손실에서 3.98위, 회귀 RMSE에서 4.22위를 기록했다.

• ScoringBench: Large 및 Medium 체크포인트가 평균 순위에서 각각 1위와 2위를 차지했다.

이 모델은 단 한 번의 순전파로 최대 10개 클래스에 대한 수치형 및 범주형 입력을 기본 처리하며, NVIDIA의 GPU 네이티브 라이브러리(sdm)는 오류 정정 출력 코드(error-correcting output codes)를 활용해 임의의 클래스 수까지 지원을 확장한다. NVIDIA는 쿼리 분포가 컨텍스트 행과 크게 다르거나 학습 범위를 벗어날 경우 성능이 저하될 수 있다고 언급했다.

엔터프라이즈 정형 데이터 워크플로우, 인컨텍스트 러닝으로 전환

지난 약 20년 동안 고객 이탈, 부정 결제 탐지, 가격 책정, 채무 불이행 위험 등 엔터프라이즈 정형 데이터 예측 태스크는 그래디언트 부스팅 결정 트리 및 AutoGluon과 같은 AutoML 프레임워크에 의존해 왔다. 이러한 전통적인 트리 기반 워크플로우는 효과적이지만, 개별 문제와 피처 세트마다 전용 모델을 처음부터 새로 학습시켜야 했다.

Kumo Tabular는 Large Language Models를 통해 대중화된 인컨텍스트 러닝 패러다임을 정형 데이터 테이블에 적용한다. 기존 라벨링된 예시를 프롬프트 공간 내의 컨텍스트로 직접 읽어들임으로써, 정형 파운데이션 모델은 수동 피처 전처리, 하이퍼파라미터 최적화, 개별 배포 파이프라인으로 이어지던 번거로운 과정을 단 한 번의 순전파 실행을 통한 프롬프트 기반 추론으로 대체하는 것을 목표로 한다.