Surge AI의 DAYJOB: 50개의 전문 세무 과제로 AI 에이전트를 평가하는 세무 벤치마크

✍️ OpenClawRadar📅 게시일: October 29, 2026🔗 Source
Ad

Surge AI가 세무 준비, 컴플라이언스, 자문 업무를 아우르는 50개의 전문 세무 과제로 AI 에이전트를 평가하는 벤치마크인 DAYJOB: Tax를 공개했습니다. 단편적인 세무 질문을 테스트하는 벤치마크와 달리, DAYJOB: Tax는 에이전트가 초기 고객 요청부터 최종 결과물까지 과제 전반을 주도적으로 수행하도록 요구합니다.

벤치마크 구성

  • 개인 및 가족 세무, 소규모 사업체 세무, 파트너십, 부동산 및 투자, 유산/증여/신탁, 국제 세무, 기업 거래, 세무 검토 및 분쟁 등 8개 세무 실무 분야에 걸친 50개 환경
  • 1,789개의 워크스페이스 파일로, 과제당 중앙값 30개, 최대 123개의 파일 포함
  • 파일 유형에는 PDF 1,487개, Excel 워크북 117개, Word 문서 38개와 이메일, 이미지, CSV, JSON 레코드, 텍스트 파일 등이 포함
  • 자료에는 제출 및 초안 세금 신고서, K-1, W-2, IRS 통지서, 총계정원장, 급여 기록, 계약서, 서신, 그리고 손으로 쓴 영수증 사진과 같은 비표준 증빙 자료가 포함

리더보드 결과

Pass@1은 95% 루브릭 기준으로 측정됩니다. 즉, 계산, 뒷받침 증거, 결과에 중대한 영향을 미치는 쟁점, 완성된 결과물을 포함한 과제 기준을 최소 95% 충족해야 시도가 통과됩니다.

  • Claude Sonnet 5.5: 통과율 10.8% (최고)
  • Claude Fable 5.1: 9.6%
  • Claude Opus 5.5: 9.2%

시도당 평균 비용 대비 성능을 보면 Claude Sonnet 5.5와 Opus 5.5가 측정된 파레토 프론티어의 고성능 구간에 위치합니다.

Ad

점수가 낮은 이유

이 벤치마크는 단순한 세무 지식이 아니라 전문적인 판단력을 테스트합니다. 공개 자료의 사례 연구는 그 격차를 보여줍니다. 한 과제는 2026년 10월과 2027년 1월 중 콘도를 언제 매도하는 것이 세무상 더 유리한지 물었습니다. Astra는 두 날짜 모두 25만 달러 양도차익 비과세 요건을 충족한다는 점은 인식했지만, 2027년 8월경이면 판매자가 5년 중 2년 거주 규칙을 더 이상 충족하지 못하게 된다는 점은 짚어내지 못했습니다. Opus는 다섯 번의 시도 모두에서 이 기한을 식별했습니다.

에이전트가 수행해야 할 일

과제를 수행하려면 에이전트는 무엇을 조사해야 하는지 판단하고, 상충하는 증거를 해결하며, 정보가 불충분한 시점을 인식하고, 이러한 결정을 최종 결과물에 반영해야 합니다. 일부 과제는 작업 서류가 포함된 완전한 신고 패키지를 요구하고, 다른 과제는 거래 조사, 이전 신고서 검토, 또는 고객이 아직 내리지 않은 결정에 대한 자문을 요구합니다.

확인 방법

리더보드와 데이터셋은 Hugging Face에서 확인할 수 있습니다. DAYJOB: Tax는 Healthcare와 Finance에 이은 Surge AI의 DAYJOB 시리즈 세 번째 공개입니다.

📖 Read the full source: HN AI Agents

Ad

👀 See Also