TabFM: 구글의 테이블 데이터 분류 및 회귀를 위한 제로샷 기초 모델

Google Research는 TabFM을 발표했습니다. 이는 테이블 데이터를 위한 파운데이션 모델로, 인컨텍스트 학습(ICL)을 사용하여 제로샷 분류 및 회귀를 수행합니다. 데이터셋별로 학습하는 대신, 전체 테이블(학습 행 + 대상 행)을 프롬프트로 제공하면 모델이 단일 전방 패스로 예측합니다. 하이퍼파라미터 튜닝이나 피처 엔지니어링이 필요 없습니다.

작동 방식

TabFM은 TabPFN과 TabICL을 결합한 하이브리드 아키텍처를 사용합니다:

• 행과 열 어텐션 교차: 다층 모듈이 행(예제)과 열(특징) 모두에 어텐션을 적용하여 수동 피처 생성 없이 복잡한 상호작용을 포착합니다.
• 행 압축: 각 행의 교차 어텐션 표현이 밀집 벡터로 압축됩니다.
• ICL 트랜스포머: 압축된 행 벡터를 처리하여 원시 그리드 어텐션에 비해 계산 비용을 줄입니다.

주요 장점

• 수동 모델 학습, 하이퍼파라미터 튜닝 또는 피처 엔지니어링 불필요
• 이전에 본 적 없는 테이블에서도 작동 — 제로샷
• 행 압축을 통한 효율적 확장

TabFM은 이제 Hugging Face와 GitHub에서 사용할 수 있습니다.

아키텍처 및 합성 학습 데이터 접근 방식에 대한 자세한 내용은 아래 소스 링크를 확인하세요.