TabFM: Modelo Fundacional Zero-Shot de Google para Clasificación y Regresión de Datos Tabulares

Google Research lanzó TabFM, un modelo fundacional para datos tabulares que realiza clasificación y regresión zero-shot mediante aprendizaje en contexto (ICL). En lugar de entrenar por conjunto de datos, introduces toda la tabla (filas de entrenamiento + filas objetivo) como prompt, y el modelo predice en una sola pasada hacia adelante, sin ajuste de hiperparámetros ni ingeniería de características.

Cómo funciona

TabFM utiliza una arquitectura híbrida que combina TabPFN y TabICL:

• Atención alternada de filas y columnas: Un módulo multicapa atiende tanto a filas (ejemplos) como a columnas (características), capturando interacciones complejas sin necesidad de crear características manualmente.
• Compresión de filas: La representación de cada fila con atención cruzada se comprime en un vector denso.
• Transformer ICL: Procesa los vectores de fila comprimidos, reduciendo el costo computacional en comparación con la atención de cuadrícula en bruto.

Ventajas clave

• Sin entrenamiento manual del modelo, ajuste de hiperparámetros ni ingeniería de características.
• Funciona en tablas no vistas anteriormente — zero-shot.
• Escalado eficiente mediante compresión de filas.

TabFM ya está disponible en Hugging Face y GitHub.

Para una inmersión más profunda en la arquitectura y el enfoque de datos sintéticos de entrenamiento, consulta el enlace de origen a continuación.