TabFM: Googles Zero-Shot Foundation-Modell zur Klassifikation und Regression tabellarischer Daten

Google Research hat TabFM veröffentlicht, ein Foundation-Modell für tabellarische Daten, das Zero-Shot-Klassifikation und Regression mittels In-Context-Learning (ICL) durchführt. Statt für jeden Datensatz ein Modell zu trainieren, wird die gesamte Tabelle (Trainingszeilen + Zielzeilen) als Prompt eingegeben, und das Modell sagt in einem einzigen Durchlauf vorher – ohne Hyperparameter-Tuning oder Feature-Engineering.

Funktionsweise

TabFM verwendet eine hybride Architektur, die TabPFN und TabICL kombiniert:

• Abwechselnde Zeilen- und Spaltenattention: Ein mehrschichtiges Modul wendet Aufmerksamkeit sowohl auf Zeilen (Beispiele) als auch auf Spalten (Merkmale) an und erfasst komplexe Wechselwirkungen, ohne manuelles Feature-Engineering.
• Zeilenkompression: Die kreuzattentierte Repräsentation jeder Zeile wird zu einem dichten Vektor komprimiert.
• ICL-Transformer: Verarbeitet die komprimierten Zeilenvektoren und reduziert den Rechenaufwand im Vergleich zur rohen Grid-Attention.

Wichtige Vorteile

• Kein manuelles Modelltraining, Hyperparameter-Tuning oder Feature-Engineering.
• Funktioniert auf bisher unbekannten Tabellen – Zero-Shot.
• Effiziente Skalierung durch Zeilenkompression.

TabFM ist jetzt auf Hugging Face und GitHub verfügbar.

Für einen tieferen Einblick in die Architektur und den Ansatz mit synthetischen Trainingsdaten finden Sie unten den Quelllink.