Atualização do AgentCrawl Adiciona Recursos e Melhorias Críticas ao Rastreador
A última atualização do AgentCrawl aprimora sua funcionalidade como um scraper/rastreador TypeScript, introduzindo vários recursos importantes para desenvolvedores que usam agentes de IA. Esta versão foca na prontidão para produção integrando correção e cortesia do rastreador, mecanismos de cache, rastreamentos retomáveis e capacidades aprimoradas de extração de dados.
Detalhes Principais
- Adaptadores de Ferramentas Removidos: A atualização elimina os adaptadores de ferramentas para o SDK de agentes e o Vercel AI SDK, permitindo que os usuários definam suas ferramentas independentemente.
- Bibliotecas Atualizadas: O pacote agora inclui a versão mais recente do Zod para melhor validação de dados.
- Correção do Rastreador: A conformidade com robots.txt agora é opcional e suporta diretivas Disallow/Allow e Crawl-delay. A semeadura opcional de sitemap a partir de
/sitemap.xmltambém está disponível. - Normalização de URL: A normalização de URL aprimorada remove abrangentemente parâmetros de rastreamento e pode lidar com normalização canônica.
- Opções de Limitação: O rastreador suporta limitação por host com
perHostConcurrencyeminDelayMsconfiguráveis. - Cache: Um cache HTTP em disco opcional para buscas estáticas implementa suporte a ETag e Last-Modified. O sistema armazena em cache a limpeza pós-processamento e conversão para markdown de
ScrapedPagee pode lidar com respostas do servidor com status 304 servindo corpos em cache. - Rastreamentos Retomáveis: Uma nova persistência opcional de crawlState salva a fronteira do rastreamento, incluindo a fila, páginas visitadas, itens enfileirados, erros e profundidade máxima, o que permite rastreamentos retomáveis sem re-visitar páginas.
- Melhorias na Extração de Dados: O scraper agora suporta extração estruturada de metadados, incluindo URL Canônica, OpenGraph, cartões do Twitter e JSON-LD, mantidos em
metadata.structured. - Divisão para Agentes: A funcionalidade opcional de divisão retorna
page.chunks[]com um tamanho aproximado de token, caminho de cabeçalho e âncora de citação, o que é benéfico para loops RAG/ferramentas.
Para Quem É
Esta atualização é particularmente benéfica para desenvolvedores que utilizam agentes de IA que requerem capacidades de raspagem web eficientes e estruturadas.
📖 Leia a fonte completa: r/LocalLLaMA
👀 See Also
VS Code Agent Kanban: Gerenciamento de tarefas baseado em Markdown para agentes de IA de programação
O VS Code Agent Kanban é uma extensão que cria um quadro kanban compatível com GitOps dentro do VS Code usando arquivos markdown como registros de tarefas. Ele aborda a deterioração de contexto em agentes de codificação de IA preservando conversas de planejamento, decisões e detalhes de implementação em arquivos .md controlados por versão.
Shipshots MCP Servidor: Claude Projeta Capturas de Tela da App Store e Vídeos de Prévia
Shipshots é um editor visual com um servidor MCP que permite ao Claude criar materiais de marketing por meio de chamadas de ferramentas. Ele gera capturas de tela da loja de aplicativos, vídeos de prévia animados e visuais para mídias sociais com base em descrições de texto.
CtxSnap Extensão do VS Code Rastreia Alterações de Arquivos para Sessões do Claude
CtxSnap é uma extensão do VS Code que rastreia quais arquivos foram alterados desde sua última sessão com o Claude e os empacota em um bloco de transferência pronto para colar, com conteúdo dos arquivos e uma barra de orçamento de tokens calibrada para a janela de contexto de 200k do Claude.
Vibe Hosting: Integração MCP do Claude Code para Implantação Assistida por IA
A plataforma Vibe Hosting da NameOcean integra o Claude Code MCP para construir e implantar projetos por meio de comandos em linguagem natural. O serviço oferece SSL gratuito, domínios, DNS e configuração de VPS para sites estáticos e aplicações Node.js, Python, Django e Go.