Modelos Qwen Locales Logran Automatización de Navegadores con Planificación Paso a Paso y DOM Compacto
La Planificación Paso a Paso Supera los Fallos de la Planificación Previa
El desarrollador descubrió que pedir a los modelos que inventen un plan completo de múltiples pasos antes de ver el estado real de la página funciona en sitios familiares, pero falla rápidamente con elementos inesperados. Lo que funcionó mejor fue la planificación paso a paso, donde el modelo replanifica desde la instantánea actual del DOM en cada paso.
Flujo de Ejemplo en Ace Hardware
El flujo probado con Qwen 8B como planificador y 4B como ejecutor en Ace Hardware (un sitio para el que el modelo no tenía tareas previas) completó un flujo completo del carrito sin usar ningún modelo de visión. El enfoque paso a paso se veía así:
- Paso 1: ver cuadro de búsqueda → ESCRIBIR "cortadora de césped"
- Paso 2: ver resultados → HACER CLIC en Añadir al Carrito
- Paso 3: aparece el cajón → descartarlo
- Paso 4: carrito visible → HACER CLIC en Ver Carrito
- Paso 5: HECHO
La Representación Compacta del DOM Permite Modelos Pequeños
El modelo nunca ve HTML crudo ni capturas de pantalla, solo una representación semántica en tabla:
id|role|text|importance|bg|clickable|nearby_text
665|button|Proceed to checkout|675|orange|1|
761|button|Add to cart|720|yellow|1|$299.99
1488|link|ThinkPad E16|478|none|1|Laptop 16"Esto permite que el ejecutor de 4B elija un ID de elemento de una lista corta. Los enfoques de visión consumen 2-3K tokens por captura de pantalla, fácilmente 50-100K+ para un flujo completo, mientras que las instantáneas compactas usan ~15K en total para la misma tarea.
El Manejo de Modales es Crítico para el Éxito
Después de cada clic, si el DOM crece repentinamente, el agente escanea patrones de descarte (cerrar, ×, no gracias, etc.) antes de planificar nuevamente. Esto solucionó muchos fallos que parecían ser "mal razonamiento" pero en realidad eran superposiciones ocultas.
El desarrollador señala tener curiosidad por saber si otros están viendo que la planificación paso a paso supera a la planificación previa una vez que los sitios se vuelven desconocidos.
📖 Read the full source: r/LocalLLaMA
👀 Ver también
Tokenmeter: Aplicación gratuita de Windows para rastrear el uso de tokens de Claude Code sin conexión
Tokenmeter es una aplicación gratuita de código abierto para Windows que lee archivos locales .jsonl de Claude Code para mostrar el uso de tokens, costos estimados, ahorros en caché y un mapa de calor de actividad de 90 días, todo sin conexión.
¿Soy compatible con OpenAI: Herramientas y documentos para firmas de API unificadas
Una nueva herramienta y página de documentación recopila la compatibilidad con OpenAI en motores de IA de código abierto como vLLM y llama.cpp, incluyendo firmas oficiales y no oficiales.
Gancho PreToolUse Corrige Problema de Bloqueo de Imágenes en Código Claude
Un desarrollador creó un gancho PreToolUse que intercepta las llamadas de lectura de Claude Code en imágenes, las convierte de forma segura y las redirige a través de un subproceso Haiku para evitar fallos de API Error 400 causados por imágenes problemáticas.
Aplicación Móvil Fuera de la Red Incorpora Uso de Herramientas de IA en Dispositivo con una Mejora de Velocidad de 3 Veces
La aplicación móvil Off Grid ahora permite que los modelos de IA utilicen herramientas como búsqueda web, calculadora, fecha/hora e información del dispositivo completamente sin conexión, con opciones de caché KV configurables que ofrecen hasta 30 tokens/segundo en teléfonos.