Libretto: Generación Determinista de Automatización de Navegadores para Agentes de Codificación con IA

Libretto es un kit de herramientas para crear integraciones web robustas que le brinda a su agente de codificación un navegador en vivo y una CLI eficiente en tokens. Cambia de los agentes de IA en tiempo de ejecución que operan como cajas negras a la "IA en tiempo de desarrollo", donde los scripts se generan con anticipación como código real que puede leer, modificar, versionar y depurar.

Características y enfoque clave

Libretto adopta un enfoque híbrido que combina la automatización de interfaz de usuario de Playwright con solicitudes directas de red/API dentro de la sesión del navegador para una mejor confiabilidad y evasión de detección de bots. Esto aborda las limitaciones de las herramientas de IA en tiempo de ejecución que dependen del análisis DOM personalizado, que puede ser poco confiable en sitios web antiguos o complicados, como los sistemas de atención médica.

La herramienta se construyó después de un año de mantener automatizaciones de navegadores para integraciones de portales de EHR y pagadores en una startup de atención médica, donde depurar automatizaciones fallidas consumía mucho tiempo. Aborda cuatro problemas principales con las herramientas de IA en tiempo de ejecución:

• Dependencia del análisis DOM personalizado que no es confiable en sitios web complejos
• Altos costos debido a muchas llamadas de IA y la incapacidad de almacenar en caché acciones de manera confiable
• Falta de interpretabilidad en tiempo de ejecución
• Ayuda limitada para generar nuevas automatizaciones o depurar fallas

Uso práctico

La instalación es a través de npm: npm install libretto. La configuración inicial requiere: npx libretto setup, que instala la habilidad, descarga Chromium y fija el modelo de instantánea predeterminado. Puede verificar la preparación del espacio de trabajo con npx libretto status y cambiar manualmente el modelo de análisis de instantánea con npx libretto ai configure <openai | anthropic | gemini | vertex>.

Libretto está diseñado para usarse como una habilidad a través de su agente de codificación, con ejemplos de indicaciones que incluyen:

• Generación de script de una sola vez: "Usa la habilidad Libretto. Ve a LinkedIn y extrae las primeras 10 publicaciones para obtener el contenido, quién lo publicó, el número de reacciones, los primeros 25 comentarios y las primeras 25 republicaciones."
• Construcción interactiva de scripts: "Voy a mostrarte un flujo de trabajo en el EHR de eclinicalworks para obtener el ID del seguro primario de un paciente. Usa la habilidad libretto para convertirlo en un script de playwright que tome el nombre y la fecha de nacimiento del paciente como entrada para devolver el ID del seguro."
• Convertir la automatización del navegador en solicitudes de red: "Tenemos un script de navegador en ./integration.ts que automatiza ir a Hacker News y obtener las primeras 10 publicaciones. Conviértelo en scripts de red directos en su lugar."
• Reparar integraciones rotas: "Tenemos un script de navegador en ./integration.ts que se supone que va a Availity y realiza una verificación de elegibilidad para un paciente. Pero obtengo un error de selector roto cuando lo ejecuto. Arréglalo."

La CLI también se puede usar directamente con comandos como npx libretto open <url> para iniciar sesiones. Todos los comandos aceptan --session <name> para apuntar a sesiones específicas.

Las características adicionales incluyen grabar acciones manuales del usuario para ayudar a los agentes a generar y actualizar scripts, depuración paso a paso, modo de solo lectura opcional para evitar que los agentes envíen o modifiquen datos accidentalmente, y generar código que siga las abstracciones y convenciones existentes en su repositorio de codificación.