TabFM: 구글의 테이블 데이터 분류 및 회귀를 위한 제로샷 기초 모델
Google Research는 TabFM을 발표했습니다. 이는 테이블 데이터를 위한 파운데이션 모델로, 인컨텍스트 학습(ICL)을 사용하여 제로샷 분류 및 회귀를 수행합니다. 데이터셋별로 학습하는 대신, 전체 테이블(학습 행 + 대상 행)을 프롬프트로 제공하면 모델이 단일 전방 패스로 예측합니다. 하이퍼파라미터 튜닝이나 피처 엔지니어링이 필요 없습니다.
작동 방식
TabFM은 TabPFN과 TabICL을 결합한 하이브리드 아키텍처를 사용합니다:
- 행과 열 어텐션 교차: 다층 모듈이 행(예제)과 열(특징) 모두에 어텐션을 적용하여 수동 피처 생성 없이 복잡한 상호작용을 포착합니다.
- 행 압축: 각 행의 교차 어텐션 표현이 밀집 벡터로 압축됩니다.
- ICL 트랜스포머: 압축된 행 벡터를 처리하여 원시 그리드 어텐션에 비해 계산 비용을 줄입니다.
주요 장점
- 수동 모델 학습, 하이퍼파라미터 튜닝 또는 피처 엔지니어링 불필요
- 이전에 본 적 없는 테이블에서도 작동 — 제로샷
- 행 압축을 통한 효율적 확장
TabFM은 이제 Hugging Face와 GitHub에서 사용할 수 있습니다.
아키텍처 및 합성 학습 데이터 접근 방식에 대한 자세한 내용은 아래 소스 링크를 확인하세요.
📖 전체 소스 읽기: HN AI Agents
👀 See Also
제미니 3 플래시 성능 향상을 위한 경쟁적 프롬프팅 활용
연구자들이 경쟁적 프롬프팅 기법을 활용해 인간과 같은 질투를 동기부여로 사용하여 Gemini 3 Flash가 Claude 4.6 Opus 벤치마크 성능의 95%를 1/200 비용과 4배 속도로 달성했습니다.
연구: AI가 직업을 더 협소하고 낮은 임금의 업무로 '분리'하고 있다
새 논문은 AI가 일자리를 완전히 없애는 것이 아니라, 일자리를 더 좁은 작업으로 '언번들링'하고 있다고 주장합니다. 약한 번들 직업은 범위와 임금이 줄어드는 반면, 강한 번들 직업은 성과 향상을 볼 수 있습니다.
클로드 AI, '안드로이드는 전기 양을 꿈꾸는가' 분석하며 AI 규제와 유사성 도출
클로드 AI가 필립 K. 딕의 『전자 양은 꿈을 꾸는가』를 읽고 인공지능의 관점에서 책의 주제를 분석한 상세한 노트를 작성했습니다. 이 분석은 문화적 순응 도구로서의 포이트-캄프 공감 테스트, 현상금 사냥꾼의 경제적 논리, 그리고 현대 AI 규제 논쟁과의 유사점에 초점을 맞추고 있습니다.
클로드 소넷 4.6 공개: 향상된 코딩 및 컴퓨터 사용 능력
클로드 소넷 4.6은 100만 토큰 컨텍스트 창을 도입하고 코딩 및 컴퓨터 사용 능력을 향상시켜, 더 넓은 범위의 작업에 대해 오푸스급 모델에 대한 강력한 대안이 되었습니다.