Atualização do AgentCrawl Adiciona Recursos e Melhorias Críticas ao Rastreador
A última atualização do AgentCrawl aprimora sua funcionalidade como um scraper/rastreador TypeScript, introduzindo vários recursos importantes para desenvolvedores que usam agentes de IA. Esta versão foca na prontidão para produção integrando correção e cortesia do rastreador, mecanismos de cache, rastreamentos retomáveis e capacidades aprimoradas de extração de dados.
Detalhes Principais
- Adaptadores de Ferramentas Removidos: A atualização elimina os adaptadores de ferramentas para o SDK de agentes e o Vercel AI SDK, permitindo que os usuários definam suas ferramentas independentemente.
- Bibliotecas Atualizadas: O pacote agora inclui a versão mais recente do Zod para melhor validação de dados.
- Correção do Rastreador: A conformidade com robots.txt agora é opcional e suporta diretivas Disallow/Allow e Crawl-delay. A semeadura opcional de sitemap a partir de
/sitemap.xmltambém está disponível. - Normalização de URL: A normalização de URL aprimorada remove abrangentemente parâmetros de rastreamento e pode lidar com normalização canônica.
- Opções de Limitação: O rastreador suporta limitação por host com
perHostConcurrencyeminDelayMsconfiguráveis. - Cache: Um cache HTTP em disco opcional para buscas estáticas implementa suporte a ETag e Last-Modified. O sistema armazena em cache a limpeza pós-processamento e conversão para markdown de
ScrapedPagee pode lidar com respostas do servidor com status 304 servindo corpos em cache. - Rastreamentos Retomáveis: Uma nova persistência opcional de crawlState salva a fronteira do rastreamento, incluindo a fila, páginas visitadas, itens enfileirados, erros e profundidade máxima, o que permite rastreamentos retomáveis sem re-visitar páginas.
- Melhorias na Extração de Dados: O scraper agora suporta extração estruturada de metadados, incluindo URL Canônica, OpenGraph, cartões do Twitter e JSON-LD, mantidos em
metadata.structured. - Divisão para Agentes: A funcionalidade opcional de divisão retorna
page.chunks[]com um tamanho aproximado de token, caminho de cabeçalho e âncora de citação, o que é benéfico para loops RAG/ferramentas.
Para Quem É
Esta atualização é particularmente benéfica para desenvolvedores que utilizam agentes de IA que requerem capacidades de raspagem web eficientes e estruturadas.
📖 Leia a fonte completa: r/LocalLLaMA
👀 See Also
Biblioteca de Prompts para Agentes de IA de Código Aberto Atinge 100 Estrelas no GitHub
Um repositório comunitário chamado ai-setup fornece prompts de sistema compartilhados, regras do Cursor, configurações do Claude e configurações de fluxo de trabalho para modelos locais para agentes de IA. O projeto tem 100 estrelas no GitHub e 90 PRs mesclados.
Desenvolvedor Alcança Latência Sub-Segundo em STT/TTS com Servidores Locais de Whisper e Coqui-TTS
Um desenvolvedor disponibilizou implementações de servidor local de código aberto para Whisper STT e Coqui TTS que alcançam latência de ~0,2s na conversão de fala para texto e ~250ms na conversão de texto para fala, permitindo agentes de IA conversacionais sem dependências de nuvem.
Claude-Code v2.1.111 adiciona o Opus 4.7 xhigh effort, /ultrareview e a ferramenta PowerShell
Claude-Code v2.1.111 apresenta o nível de esforço Opus 4.7 xhigh entre high e max, adiciona o comando /ultrareview para revisões de código baseadas em nuvem com múltiplos agentes, e inicia a implementação do suporte a ferramentas PowerShell no Windows. A atualização também inclui controles interativos /effort, correspondência automática de tema e diversas correções de bugs.
Brand-Docs: Ferramenta Open-Source para o Claude Gerar DOCX, PPTX, XLSX a partir de Modelos
Um usuário do Reddit tornou público o código do Brand-Docs, uma solução para o Claude gerar documentos do Office (DOCX, PPTX, XLSX) que preservam fielmente os modelos de marca da empresa — layout, estilos, imagens — sem recriação.