에이전트크롤 업데이트, 중요한 크롤러 기능 및 개선 사항 추가
AgentCrawl의 최신 업데이트는 AI 에이전트를 사용하는 개발자를 위한 몇 가지 중요한 기능을 도입하여 TypeScript 스크레이퍼/크롤러로서의 기능을 강화합니다. 이번 릴리스는 크롤러 정확성과 예절, 캐싱 메커니즘, 재개 가능한 크롤링, 향상된 데이터 추출 기능을 통합하여 프로덕션 준비에 초점을 맞추고 있습니다.
주요 세부사항
- 툴 어댑터 제거: 이번 업데이트는 에이전트 SDK와 Vercel AI SDK용 툴 어댑터를 제거하여 사용자가 독립적으로 자신의 툴을 정의할 수 있도록 합니다.
- 라이브러리 업데이트: 패키지에는 이제 향상된 데이터 검증을 위한 최신 버전의 Zod가 포함됩니다.
- 크롤러 정확성: Robots.txt 준수는 이제 옵트인 방식이며 Disallow/Allow 및 Crawl-delay 지시어를 지원합니다.
/sitemap.xml에서 옵트인 사이트맵 시딩도 사용 가능합니다. - URL 정규화: 개선된 URL 정규화는 추적 매개변수를 포괄적으로 제거하고 표준 정규화를 처리할 수 있습니다.
- 스로틀링 옵션: 크롤러는 구성 가능한
perHostConcurrency및minDelayMs로 호스트별 스로틀링을 지원합니다. - 캐싱: 정적 페치를 위한 옵트인 디스크 HTTP 캐시는 ETag 및 Last-Modified 지원을 구현합니다. 시스템은
ScrapedPage의 클리닝 후 및 마크다운 변환을 캐시하며, 상태 304의 서버 응답을 캐시된 본문을 제공하여 처리할 수 있습니다. - 재개 가능한 크롤링: 새로운 옵트인 crawlState 지속성은 큐, 방문한 페이지, 대기 중인 항목, 오류 및 최대 깊이를 포함한 크롤의 프론티어를 저장하여 페이지를 다시 방문하지 않고도 크롤을 재개할 수 있도록 합니다.
- 데이터 추출 개선: 스크레이퍼는 이제 표준 URL, OpenGraph, Twitter 카드 및 JSON-LD를 포함한 구조화된 메타데이터 추출을 지원하며, 이는
metadata.structured에 보관됩니다. - 에이전트용 청킹: 옵트인 청킹 기능은 대략적인 토큰 크기, 제목 경로 및 인용 앵커가 포함된
page.chunks[]를 반환하며, 이는 RAG/툴 루프에 유용합니다.
👀 See Also
레딧 토론: 적절한 모델 아키텍처 없이는 AI 직원 개성 안정성을 위한 Identity.md 파일만으로는 부족하다
레딧 토론에 따르면, 기본 모델 아키텍처가 역할 분리를 시뮬레이션만 할 뿐 실제 경계를 강제하지 못한다면, AI 직원 팀의 성격 유출을 방지하기 위해 identity.md 파일을 조정하는 것은 효과적이지 않다고 합니다. 해당 게시물은 100회 이상의 자체 진화 사이클을 통해 기본 학습에 경계 인식을 구워 넣은 Minimax M2.7 백엔드 사용을 권장합니다.
클로드와의 에이전트형 AI 파트너십을 위한 오픈소스 방법론
한 개발자가 세션 간 공유 메모리, 인지 모니터링, 다중 AI 컨설테이션을 활용하는 지속적 파트너십 시스템을 Claude와 구축하는 방법에 대한 25,000단어 논문을 발표하고 오픈소스 템플릿을 공개했습니다.
Revdiff: AI 에이전트를 위한 인라인 주석이 포함된 터미널 Diff 뷰어
Revdiff는 터미널 세션을 떠나지 않고 AI 생성 코드 변경 사항을 검토하기 위해 특별히 제작된 TUI diff 검토 도구입니다. 구조화된 주석을 stdout으로 출력하여 Claude Code와 같은 AI 에이전트에 직접 파이프로 전달할 수 있어 지속적인 검토 루프를 생성합니다.
CogniLayer: Claude Code용 영구 메모리 MCP 서버
CogniLayer는 SQLite 데이터베이스에 FTS5 전체 텍스트 검색과 벡터 임베딩을 사용하여 Claude Code에 세션 간 지속적인 메모리를 제공하는 오픈소스 MCP 서버입니다. 이는 Claude가 세션 간 프로젝트 컨텍스트를 잊어버리는 문제를 해결합니다.