TinyFish 웹 에이전트, 웹 작업 벤치마킹에서 경쟁사보다 우수한 성능 보여
TinyFish 웹 에이전트는 복잡한 웹 작업을 처리하는 데 있어 선도적인 도구임이 입증되었으며, 136개의 실시간 웹사이트에서 300개의 작업으로 구성된 Online-Mind2Web 벤치마크에서 어려운 작업에 대해 81.9%의 성공률을 달성했습니다. 이 수치는 OpenAI Operator와 같은 주요 경쟁사들이 유사한 작업에서 겨우 43.2%의 성공률을 기록한 것과 극명한 대조를 이룹니다.
Online-Mind2Web 벤치마크는 웹 에이전트의 능력을 엄격하게 측정하는 지표로, Marriott에서 신용카드 혜택을 탐색하는 것과 같은 쉬운 작업부터 동적 가격 책정으로 이벤트 티켓을 예약하는 것과 같은 복잡한 과제까지 다양한 작업을 테스트합니다. 작업에는 양식 유효성 검사 및 팝업 처리와 같은 실시간 웹사이트에서의 여러 단계가 포함되어 있어, WebVoyager와 같은 덜 신뢰할 수 있는 다른 벤치마크에 비해 현실적인 테스트로 평가됩니다.
TinyFish는 복합적인 오류를 효과적으로 처리함으로써 차별화됩니다. 쉬운 작업에서 어려운 작업으로 넘어갈 때 단지 15.6점만 하락하는 반면, 다른 시스템들은 급격한 하락을 보여 현실 세계 시나리오에서의 견고함을 강조합니다. 특히, 아파트먼트닷컴과 같은 사이트에서 발생한 인프라 수준의 봇 차단과 같은 성능 특성 및 실패 사례를 투명하게 제공하기 위해 40개의 실패를 포함한 모든 300개 작업 실행을 공개했습니다.
견고한 웹 자동화 도구를 찾는 개발자들은 TinyFish의 오픈소스 쿡북 저장소에 관심을 가질 수 있으며, 이는 그 아키텍처와 실행 방법론에 대한 통찰력을 제공합니다.
📖 전체 출처 읽기: HN AI Agents
👀 See Also
GrapeRoot: 오픈소스 도구, Claude Code 토큰 사용량 40-80% 절감
GrapeRoot는 코드베이스와 Claude Code 사이에 위치하는 무료 오픈소스 로컬 MCP 서버로, 모델이 이미 본 내용을 추적하고 관련 코드 변경사항만 전송하여 토큰 사용량을 40-80% 줄입니다.
새 도구, 컨텍스트 사용에 기반하여 클로드 코드에 명령어를 주입합니다
한 개발자가 클로드 코드가 작업 중간에 컨텍스트 제한에 도달하는 문제에 좌절하며, 컨텍스트 사용량을 모니터링하고 한계치를 초과할 때 사용자 정의 지시사항을 주입하는 도구를 만들었습니다. 이를 통해 클로드가 너무 늦기 전에 경고에 대응할 수 있게 되었습니다.
클로드 코드가 구축한 트릴로: 무료 비디오 자막 생성 도구
한 비디오 편집자가 Claude Code를 사용해 Treelo라는 실용적인 자막 생성 도구를 만든 경험을 공유했습니다. 이 개발자는 깔끔한 SRT 파일을 얻기 위해 네 가지 다른 도구를 오가며 작업하던 중, 각 단계마다 Claude Code에 일반 영어로 문제를 설명하며 도구를 구축했습니다.
로컬 AI VS Code 확장 기능은 저장 시 보안에 취약한 코드 생성을 차단합니다.
한 개발자가 VS Code 확장 프로그램을 만들어 로컬에서 llama3.1:8b-instruct-q4를 실행해 보안에 취약한 AI 생성 코드가 포함된 저장을 물리적으로 차단합니다. 이 도구는 Claude가 교과서적인 CWE-117(로그 주입) 취약점이 있는 Flask 경로를 생성한 후에 만들어졌습니다.