TabFM: Фундаментальная модель Google с нулевым обучением для классификации и регрессии табличных данных

Google Research выпустила TabFM — фундаментальную модель для табличных данных, которая выполняет классификацию и регрессию с нулевым обучением, используя обучение в контексте (ICL). Вместо обучения под каждый набор данных вы подаете всю таблицу (обучающие строки + целевые строки) как промпт, и модель выдает предсказание за один прямой проход — без настройки гиперпараметров или инженерии признаков.

Как это работает

TabFM использует гибридную архитектуру, объединяющую TabPFN и TabICL:

• Чередующееся внимание к строкам и столбцам: Многослойный модуль обрабатывает как строки (примеры), так и столбцы (признаки), захватывая сложные взаимодействия без ручного создания признаков.
• Сжатие строк: Представление каждой строки после перекрестного внимания сжимается в плотный вектор.
• ICL Transformer: Обрабатывает сжатые векторы строк, снижая вычислительные затраты по сравнению с вниманием к сырой сетке.

Ключевые преимущества

• Без ручного обучения модели, настройки гиперпараметров или инженерии признаков.
• Работает с ранее не виденными таблицами — нулевое обучение.
• Эффективное масштабирование благодаря сжатию строк.

TabFM теперь доступен на Hugging Face и GitHub.

Для более глубокого изучения архитектуры и подхода к синтетическим обучающим данным перейдите по ссылке на источник ниже.