Libretto: Geração Determinística de Automação de Navegador para Agentes de Codificação de IA

Libretto é um kit de ferramentas para criar integrações web robustas que fornece ao seu agente de codificação um navegador ativo e um CLI eficiente em tokens. Ele muda de agentes de IA em tempo de execução que operam como caixas pretas para "IA em tempo de desenvolvimento", onde os scripts são gerados antecipadamente como código real que você pode ler, modificar, versionar e depurar.

Principais Recursos e Abordagem

Libretto adota uma abordagem híbrida combinando automação de interface do usuário do Playwright com solicitações diretas de rede/API dentro da sessão do navegador para melhor confiabilidade e evasão de detecção de bots. Isso aborda as limitações das ferramentas de IA em tempo de execução que dependem de análise DOM personalizada, que pode ser pouco confiável em sites mais antigos ou complicados, como sistemas de saúde.

A ferramenta foi construída após um ano de manutenção de automações de navegador para integrações de portais de EHR e pagadores em uma startup de saúde, onde depurar automações com falha era demorado. Ela aborda quatro problemas principais com ferramentas de IA em tempo de execução:

• Dependência de análise DOM personalizada que é pouco confiável em sites complexos
• Altos custos devido a muitas chamadas de IA e incapacidade de armazenar ações em cache de forma confiável
• Falta de interpretabilidade em tempo de execução
• Ajuda limitada para gerar novas automações ou depurar falhas

Uso Prático

A instalação é via npm: npm install libretto. A configuração inicial requer: npx libretto setup que instala a habilidade, baixa o Chromium e fixa o modelo de snapshot padrão. Você pode verificar a prontidão do espaço de trabalho com npx libretto status e alterar manualmente o modelo de análise de snapshot com npx libretto ai configure <openai | anthropic | gemini | vertex>.

Libretto foi projetado para ser usado como uma habilidade através do seu agente de codificação com prompts de exemplo incluindo:

• Geração de script de uma vez: "Use a habilidade Libretto. Vá no LinkedIn e raspe os primeiros 10 posts para conteúdo, quem postou, o número de reações, os primeiros 25 comentários e os primeiros 25 reposts."
• Construção de script interativa: "Vou mostrar a você um fluxo de trabalho no EHR eclinicalworks para obter o ID do seguro primário de um paciente. Use a habilidade libretto para transformá-lo em um script playwright que recebe nome e data de nascimento do paciente como entrada para retornar o ID do seguro."
• Converter automação de navegador para solicitações de rede: "Temos um script de navegador em ./integration.ts que automatiza ir ao Hacker News e obter os primeiros 10 posts. Converta-o para scripts de rede diretos."
• Corrigir integrações quebradas: "Temos um script de navegador em ./integration.ts que deve ir ao Availity e realizar uma verificação de elegibilidade para um paciente. Mas estou recebendo um erro de seletor quebrado quando executo. Corrija-o."

O CLI também pode ser usado diretamente com comandos como npx libretto open <url> para iniciar sessões. Todos os comandos aceitam --session <name> para direcionar sessões específicas.

Recursos adicionais incluem gravar ações manuais do usuário para ajudar agentes a gerar e atualizar scripts, depuração passo a passo, modo somente leitura opcional para evitar que agentes enviem ou modifiquem dados acidentalmente, e gerar código que segue abstrações e convenções existentes no seu repositório de codificação.