TabFM: 表形式データの分類と回帰のためのGoogleのゼロショット基盤モデル

Google Researchは、インコンテキスト学習（ICL）を用いてゼロショットの分類と回帰を行う表形式データ用ファウンデーションモデル「TabFM」を公開しました。データセットごとに学習する代わりに、テーブル全体（学習行とターゲット行）をプロンプトとして入力し、モデルが単一のフォワードパスで予測を出力します。ハイパーパラメータ調整や特徴量エンジニアリングは不要です。

仕組み

TabFMは、TabPFNとTabICLを組み合わせたハイブリッドアーキテクチャを採用しています。

• 行と列の交互アテンション：多層モジュールが行（サンプル）と列（特徴量）の両方にアテンションを適用し、手動での特徴量設計なしに複雑な相互作用を捕捉します。
• 行の圧縮：各行のクロスアテンション表現を密なベクトルに圧縮します。
• ICLトランスフォーマー：圧縮された行ベクトルを処理し、生のグリッドアテンションに比べて計算コストを削減します。

主な利点

• 手動のモデル学習、ハイパーパラメータ調整、特徴量エンジニアリングが不要。
• これまで見たことのないテーブルでも動作 — ゼロショット。
• 行圧縮による効率的なスケーリング。

TabFMは、Hugging FaceおよびGitHubで利用可能です。

アーキテクチャや合成学習データアプローチの詳細については、以下のソースリンクをご覧ください。