Surge AI의 DAYJOB: 50개의 전문 세무 과제로 AI 에이전트를 평가하는 세무 벤치마크
Surge AI가 세무 준비, 컴플라이언스, 자문 업무를 아우르는 50개의 전문 세무 과제로 AI 에이전트를 평가하는 벤치마크인 DAYJOB: Tax를 공개했습니다. 단편적인 세무 질문을 테스트하는 벤치마크와 달리, DAYJOB: Tax는 에이전트가 초기 고객 요청부터 최종 결과물까지 과제 전반을 주도적으로 수행하도록 요구합니다.
벤치마크 구성
- 개인 및 가족 세무, 소규모 사업체 세무, 파트너십, 부동산 및 투자, 유산/증여/신탁, 국제 세무, 기업 거래, 세무 검토 및 분쟁 등 8개 세무 실무 분야에 걸친 50개 환경
- 1,789개의 워크스페이스 파일로, 과제당 중앙값 30개, 최대 123개의 파일 포함
- 파일 유형에는 PDF 1,487개, Excel 워크북 117개, Word 문서 38개와 이메일, 이미지, CSV, JSON 레코드, 텍스트 파일 등이 포함
- 자료에는 제출 및 초안 세금 신고서, K-1, W-2, IRS 통지서, 총계정원장, 급여 기록, 계약서, 서신, 그리고 손으로 쓴 영수증 사진과 같은 비표준 증빙 자료가 포함
리더보드 결과
Pass@1은 95% 루브릭 기준으로 측정됩니다. 즉, 계산, 뒷받침 증거, 결과에 중대한 영향을 미치는 쟁점, 완성된 결과물을 포함한 과제 기준을 최소 95% 충족해야 시도가 통과됩니다.
- Claude Sonnet 5.5: 통과율 10.8% (최고)
- Claude Fable 5.1: 9.6%
- Claude Opus 5.5: 9.2%
시도당 평균 비용 대비 성능을 보면 Claude Sonnet 5.5와 Opus 5.5가 측정된 파레토 프론티어의 고성능 구간에 위치합니다.
점수가 낮은 이유
이 벤치마크는 단순한 세무 지식이 아니라 전문적인 판단력을 테스트합니다. 공개 자료의 사례 연구는 그 격차를 보여줍니다. 한 과제는 2026년 10월과 2027년 1월 중 콘도를 언제 매도하는 것이 세무상 더 유리한지 물었습니다. Astra는 두 날짜 모두 25만 달러 양도차익 비과세 요건을 충족한다는 점은 인식했지만, 2027년 8월경이면 판매자가 5년 중 2년 거주 규칙을 더 이상 충족하지 못하게 된다는 점은 짚어내지 못했습니다. Opus는 다섯 번의 시도 모두에서 이 기한을 식별했습니다.
에이전트가 수행해야 할 일
과제를 수행하려면 에이전트는 무엇을 조사해야 하는지 판단하고, 상충하는 증거를 해결하며, 정보가 불충분한 시점을 인식하고, 이러한 결정을 최종 결과물에 반영해야 합니다. 일부 과제는 작업 서류가 포함된 완전한 신고 패키지를 요구하고, 다른 과제는 거래 조사, 이전 신고서 검토, 또는 고객이 아직 내리지 않은 결정에 대한 자문을 요구합니다.
확인 방법
리더보드와 데이터셋은 Hugging Face에서 확인할 수 있습니다. DAYJOB: Tax는 Healthcare와 Finance에 이은 Surge AI의 DAYJOB 시리즈 세 번째 공개입니다.
📖 Read the full source: HN AI Agents
👀 See Also

Claude Code v2.1.121: MCP alwaysLoad, 플러그인 정리, 터미널 스크롤 수정, 메모리 누수 패치
Claude Code v2.1.121은 MCP 서버에 alwaysLoad, 플러그인 prune 명령어, /skills의 입력 필터, PostToolUse 출력 교체, 터미널 스크롤 및 URL 수정, 그리고 다수의 이미지 처리 시 멀티 GB RSS 증가를 포함한 여러 메모리 누수 수정을 추가했습니다.

아남 카라-3: 인터랙티브 AI 아바타의 발전
아남 카라-3은 오디오-비디오 변환을 위한 2단계 파이프라인을 통해 고급 인터랙티브 아바타를 도입하며, 인상적인 속도와 반응성을 달성했습니다.

OpenClaw v3.22 업데이트로 인해 대시보드 및 WhatsApp에 문제가 발생했습니다
OpenClaw v3.22에서 대시보드 기능과 WhatsApp 통합이 손상되었으며, 두 개의 GitHub 이슈(#52808 및 #52813)가 문제를 기록하고 있습니다. 사용자들은 이 버전으로 업데이트하지 않는 것이 좋습니다.

MTP 멀티 토큰 예측: AMD Strix Halo & Radeon 9700 AI Pro에서의 2배 빠른 토큰 생성
MTP는 특히 코딩 에이전트에서 LLM 추론 속도를 최대 2배까지 가속화합니다. 영상은 MTP의 작동 방식과 AMD Strix Halo 및 듀얼 Radeon 9700에서 Qwen 3.6의 성능을 다룹니다.