TabFM: 구글의 테이블 데이터 분류 및 회귀를 위한 제로샷 기초 모델
Google Research는 TabFM을 발표했습니다. 이는 테이블 데이터를 위한 파운데이션 모델로, 인컨텍스트 학습(ICL)을 사용하여 제로샷 분류 및 회귀를 수행합니다. 데이터셋별로 학습하는 대신, 전체 테이블(학습 행 + 대상 행)을 프롬프트로 제공하면 모델이 단일 전방 패스로 예측합니다. 하이퍼파라미터 튜닝이나 피처 엔지니어링이 필요 없습니다.
작동 방식
TabFM은 TabPFN과 TabICL을 결합한 하이브리드 아키텍처를 사용합니다:
- 행과 열 어텐션 교차: 다층 모듈이 행(예제)과 열(특징) 모두에 어텐션을 적용하여 수동 피처 생성 없이 복잡한 상호작용을 포착합니다.
- 행 압축: 각 행의 교차 어텐션 표현이 밀집 벡터로 압축됩니다.
- ICL 트랜스포머: 압축된 행 벡터를 처리하여 원시 그리드 어텐션에 비해 계산 비용을 줄입니다.
주요 장점
- 수동 모델 학습, 하이퍼파라미터 튜닝 또는 피처 엔지니어링 불필요
- 이전에 본 적 없는 테이블에서도 작동 — 제로샷
- 행 압축을 통한 효율적 확장
TabFM은 이제 Hugging Face와 GitHub에서 사용할 수 있습니다.
아키텍처 및 합성 학습 데이터 접근 방식에 대한 자세한 내용은 아래 소스 링크를 확인하세요.
📖 전체 소스 읽기: HN AI Agents
👀 See Also
Docker 컨테이너: Cron 작업에 대한 반론
r/openclaw의 토론은 Docker 컨테이너 내에서 cron 작업 사용이라는 논쟁적인 주제를 강조합니다. 즉각적인 자동화의 매력이 있을 수 있지만, 커뮤니티는 이를 권장하지 않습니다.
두 개의 연구 프로젝트, 웹 에이전트를 위한 모방 학습에 도전하다
두 개의 연구 프로젝트가 웹 에이전트에 대한 모방 전용 훈련의 한계를 보여줍니다: 'Browser in the Loop'은 80억 개의 파라미터를 가진 모델에 강화 학습을 적용해 양식 제출 성공률을 높였고, 'Concentrate or Collapse'는 확산 언어 모델에 표준 강화 학습을 적용하면 실패하며 시퀀스 수준 최적화가 필요함을 보여줍니다.
클로드, 소매업체 간 제품 가격 검색 능력 상실
4월 27일부터 Claude는 Amazon, Best Buy, Newegg, B&H Photo에서 가격 정보를 더 이상 반환하지 않습니다. Walmart만이 여전히 가격을 표시하고 있습니다.
GitHub IP 주소를 차단하는 조직의 Claude 연결 실패
IP 주소로 GitHub 액세스를 제한하는 조직의 연결 실패를 보고하는 자동 상태 업데이트가 있으며, status.claude.com을 통해 진행 중인 인시던트를 추적할 수 있습니다.