TabFM: Modelo Fundacional Zero-Shot do Google para Classificação e Regressão de Dados Tabulares

O Google Research lançou o TabFM, um modelo fundação para dados tabulares que realiza classificação e regressão zero-shot usando aprendizado em contexto (ICL). Em vez de treinar por conjunto de dados, você alimenta a tabela inteira (linhas de treinamento + linhas alvo) como um prompt, e o modelo prediz em uma única passagem direta — sem ajuste de hiperparâmetros ou engenharia de features.

Como Funciona

O TabFM usa uma arquitetura híbrida combinando TabPFN e TabICL:

• Atenção alternada entre linhas e colunas: Um módulo multicamadas atende tanto linhas (exemplos) quanto colunas (features), capturando interações complexas sem criação manual de features.
• Compressão de linhas: A representação de atenção cruzada de cada linha é comprimida em um vetor denso.
• Transformer ICL: Processa os vetores de linha comprimidos, reduzindo o custo computacional em comparação com a atenção bruta de grade.

Principais Vantagens

• Nenhum treinamento manual de modelo, ajuste de hiperparâmetros ou engenharia de features.
• Funciona em tabelas nunca antes vistas — zero-shot.
• Escalabilidade eficiente via compressão de linhas.

O TabFM já está disponível no Hugging Face e no GitHub.

Para um mergulho mais profundo na arquitetura e na abordagem de dados sintéticos de treinamento, confira o link da fonte abaixo.