TabFM : Le modèle de base zéro-shot de Google pour la classification et la régression de données tabulaires

Google Research a publié TabFM, un modèle fondamental pour les données tabulaires qui effectue une classification et une régression zero-shot à l'aide de l'apprentissage contextuel (ICL). Au lieu d'entraîner par ensemble de données, vous fournissez l'intégralité du tableau (lignes d'entraînement + lignes cibles) comme invite, et le modèle prédit en un seul passage avant — pas de réglage d'hyperparamètres ni d'ingénierie des caractéristiques.

Comment ça marche

TabFM utilise une architecture hybride combinant TabPFN et TabICL :

• Attention alternée sur les lignes et les colonnes : Un module multicouche applique l'attention à la fois sur les lignes (exemples) et les colonnes (caractéristiques), capturant des interactions complexes sans conception manuelle des caractéristiques.
• Compression des lignes : La représentation de chaque ligne après cross-attention est compressée en un vecteur dense.
• Transformer ICL : Traite les vecteurs de lignes compressés, réduisant le coût de calcul par rapport à l'attention brute sur la grille.

Principaux avantages

• Aucun entraînement manuel du modèle, réglage d'hyperparamètres ou ingénierie des caractéristiques.
• Fonctionne sur des tables jamais vues auparavant — zero-shot.
• Passage à l'échelle efficace grâce à la compression des lignes.

TabFM est désormais disponible sur Hugging Face et GitHub.

Pour une plongée plus approfondie dans l'architecture et l'approche des données d'entraînement synthétiques, consultez le lien source ci-dessous.