NVIDIA lança Kumo Tabular, um modelo de fundação aberto para dados tabulares

NVIDIA apresenta Kumo Tabular, modelo de fundação aberto para dados tabulares

Pesquisadores da NVIDIA anunciaram o lançamento do NVIDIA Kumo Tabular, um modelo de fundação aberto projetado para tarefas de classificação e regressão em dados tabulares. Parte da coleção NVIDIA Kumo Structured, o modelo prevê rótulos para novas linhas em uma única passagem (forward pass), sem exigir engenharia manual de atributos, busca de hiperparâmetros ou treinamento específico para cada tarefa.

O Kumo Tabular chega em três tamanhos, variando de 28 milhões a 215 milhões de parâmetros, e foi lançado juntamente com uma biblioteca de código aberto sob a licença OpenMDW-1.1 para uso comercial. Os pesos do modelo foram disponibilizados no Hugging Face, enquanto o código-fonte está hospedado no GitHub no repositório de dados estruturados da NVIDIA.

Arquitetura, pré-treinamento sintético e resultados em benchmarks

Construído como um Transformer adaptado para estruturas tabulares, o Kumo Tabular incorpora mecanismos de atenção em colunas, linhas e em contexto (in-context), baseando-se em conceitos do TabICL e do TabPFN. O pipeline começa com o embedding de células, no qual grupos de células se tornam tokens; valores numéricos e categóricos passam por características de Fourier com frequências aprendidas, e valores ausentes são acomodados diretamente, sem necessidade de imputação prévia. Os embeddings de linhas alternam entre atenção por coluna — que rastreia a distribuição de atributos ao longo das colunas com custo que escala linearmente com a contagem de linhas — e atenção por linha entre atributos, usando rotary position embeddings e quatro tokens [CLS] aprendíveis.

O estágio final baseia-se no aprendizado em contexto (in-context learning), no qual as linhas de contexto aplicam atenção entre si, mas as linhas de consulta (query rows) aplicam atenção estritamente às linhas de contexto por meio do Test-GQA, permitindo que chaves e valores em cache sejam reutilizados em previsões futuras. Para evitar a degradação da atenção em tabelas maiores, o modelo introduz uma temperatura de atenção sensível ao comprimento (length-aware attention temperature), escalando as consultas logaritmicamente com a contagem de chaves usando coeficientes aprendidos específicos por cabeça (head). As cabeças de regressão produzem 999 quantis, além de estimativas pontuais e medidas de incerteza.

O Kumo Tabular foi treinado inteiramente em tabelas sintéticas geradas proceduralmente a partir de Modelos Causais Estruturais (SCMs). Para refletir a complexidade e as imperfeições do mundo real, o amostrador procedural injeta padrões de valores ausentes, alvos de regressão com caudas pesadas (heavy-tailed), categorias de alta cardinalidade e atributos com granularidade reduzida (coarsened features). O treinamento foi estruturado em três fases: começando com 1.024 linhas e até 100 colunas, expandindo para entre 400 e 10.240 linhas e, por fim, alcançando até 60.000 linhas. No total, as variantes Small, Medium e Large processaram aproximadamente 35 milhões, 71 milhões e 137 milhões de tabelas artificiais, respectivamente.

Nos benchmarks empíricos:

• TabArena: O Kumo Tabular conquistou o primeiro lugar geral com um ELO de 1950, sendo 17 vezes mais rápido que o LimiX-2 em um ambiente de avaliação equipado com uma única NVIDIA RTX 6000 Pro.

• BeyondArena: Ficou em primeiro lugar com um ELO de 1418 e uma pontuação de Improvability de 7,78%.

• TALENT: O modelo alcançou a liderança geral, obtendo posições médias de 6,67 em acurácia de classificação, 3,98 em log-loss de classificação e 4,22 em RMSE de regressão.

• ScoringBench: Os checkpoints Large e Medium ficaram em primeiro e segundo lugar no ranking médio.

O modelo processa nativamente entradas numéricas e categóricas para até 10 classes em uma única passagem direta, enquanto a biblioteca nativa para GPU da NVIDIA (sdm) utiliza códigos de correção de erros para estender o suporte a um número arbitrário de classes. A NVIDIA destaca que o desempenho pode degradar se as distribuições das consultas divergirem drasticamente das linhas de contexto ou ficarem fora dos intervalos de treinamento.

Mudando os fluxos corporativos de dados tabulares para o aprendizado em contexto

Por cerca de duas décadas, tarefas corporativas de previsão com dados tabulares — como rotatividade de clientes (churn), detecção de fraudes, precificação e risco de inadimplência — dependeram de árvores de decisão impulsionadas por gradiente (gradient-boosted decision trees) e frameworks de AutoML, como o AutoGluon. Embora eficazes, os fluxos tradicionais baseados em árvores exigem o treinamento de modelos dedicados do zero para cada problema e conjunto de atributos específicos.

O Kumo Tabular adapta o paradigma de aprendizado em contexto (in-context learning), popularizado pelos grandes modelos de linguagem (LLMs), para tabelas de dados estruturados. Ao ler exemplos rotulados existentes diretamente como contexto dentro do espaço do prompt, os modelos de fundação tabulares visam substituir o ciclo de pré-processamento manual de atributos, otimização de hiperparâmetros e pipelines de implantação separados por uma inferência baseada em prompts em uma única execução direta.