Actualización de AgentCrawl Agrega Características y Mejoras Críticas del Crawler
La última actualización de AgentCrawl mejora su funcionalidad como un scraper/rastreador de TypeScript, introduciendo varias características importantes para los desarrolladores que utilizan agentes de IA. Esta versión se centra en la preparación para producción al integrar la corrección y cortesía del rastreador, mecanismos de almacenamiento en caché, rastreos reanudables y capacidades mejoradas de extracción de datos.
Detalles Clave
- Removed Tool Adapters: La actualización elimina los adaptadores de herramienta para el SDK de agentes y el SDK de Vercel AI, permitiendo a los usuarios definir sus herramientas de manera independiente.
- Updated Libraries: El paquete ahora incluye la última versión de Zod para una mejor validación de datos.
- Crawler Correctness: La compatibilidad con robots.txt ahora es opcional y admite las directivas Disallow/Allow y Crawl-delay. La siembra de sitemap opcional desde
/sitemap.xmltambién está disponible. - URL Normalization: La normalización de URL mejorada elimina exhaustivamente los parámetros de seguimiento y puede manejar la normalización canónica.
- Throttling Options: El rastreador admite limitación por host con
perHostConcurrencyyminDelayMsconfigurables. - Caching: Un caché HTTP en disco opcional para fetches estáticos implementa soporte para ETag y Last-Modified. El sistema almacena en caché la limpieza posterior y la conversión de markdown de
ScrapedPagey puede manejar respuestas del servidor con estado 304 sirviendo cuerpos en caché. - Resumable Crawls: Una nueva persistencia de crawlState opcional guarda la frontera del rastreo, incluyendo la cola, páginas visitadas, elementos en cola, errores y profundidad máxima, lo que permite rastreos reanudables sin volver a visitar páginas.
- Data Extraction Improvements: El scraper ahora admite la extracción de metadatos estructurados, incluyendo URL canónica, OpenGraph, tarjetas de Twitter y JSON-LD, mantenidos en
metadata.structured. - Chunking for Agents: La funcionalidad de chunking opcional devuelve
page.chunks[]con un tamaño aproximado de token, ruta de encabezado y ancla de citación, lo cual es beneficioso para ciclos RAG/herramientas.
Para Quién Es
Esta actualización es particularmente beneficiosa para los desarrolladores que utilizan agentes de IA que requieren capacidades de web scraping eficientes y estructuradas.
📖 Lea la fuente completa: r/LocalLLaMA
👀 Ver también
Vibeyard añade tablero Kanban para gestionar múltiples sesiones de Claude Code
Un IDE de código abierto llamado Vibeyard ahora incluye un tablero Kanban que permite iniciar sesiones del agente Claude Code directamente desde las tarjetas. Las tarjetas se mueven automáticamente a Hecho cuando el agente termina.
Pruebas de referencia de tonterías: resistencia de LLM a indicaciones sin sentido
El Bullshit Benchmark evalúa si los modelos de IA identifican y rechazan indicaciones obviamente absurdas en lugar de generar respuestas incorrectas con confianza. Los resultados muestran que los modelos Claude tienen un rendimiento significativamente mejor que los modelos Gemini en la detección de preguntas sin sentido.
Bifrost AI Gateway: Herramienta de Código Abierto Aborda las Brechas en la Infraestructura de IA
Bifrost es una puerta de enlace LLM de código abierto basada en Go que proporciona conmutación por error automática entre proveedores, límites de presupuesto que rechazan solicitudes, registro de auditoría y enlaces para evaluación. Los puntos de referencia muestran que es ~50 veces más rápido que LiteLLM en alto rendimiento.
MTPLX: Tokens 2.24x más rápidos en Apple Silicon usando cabezales MTP nativos
MTPLX alcanza 63 tok/s en Qwen3.6-27B en M5 Max (frente a 28 tok/s) utilizando cabezales MTP incorporados, con muestreo exacto de temperatura y sin redactor externo.