리브레토: AI 코딩 에이전트를 위한 결정론적 브라우저 자동화 생성

Libretto는 코딩 에이전트에 라이브 브라우저와 토큰 효율적인 CLI를 제공하는 견고한 웹 통합 구축용 툴킷입니다. 이는 블랙박스처럼 작동하는 런타임 AI 에이전트에서 벗어나, 읽고 수정하고 버전 관리하며 디버깅할 수 있는 실제 코드로 스크립트를 미리 생성하는 '개발 시점 AI'로 전환합니다.

주요 기능과 접근 방식

Libretto는 더 나은 신뢰성과 봇 탐지 회피를 위해 Playwright UI 자동화와 브라우저 세션 내 직접 네트워크/API 요청을 결합하는 하이브리드 접근 방식을 취합니다. 이는 의료 시스템과 같은 오래되거나 복잡한 웹사이트에서 신뢰할 수 없는 맞춤형 DOM 파싱에 의존하는 런타임 AI 도구의 한계를 해결합니다.

이 도구는 의료 스타트업에서 EHR 및 지불자 포털 통합을 위한 브라우저 자동화를 1년간 유지하며 실패한 자동화 디버깅에 많은 시간이 소요된 경험을 바탕으로 구축되었습니다. 런타임 AI 도구의 네 가지 주요 문제를 해결합니다:

• 복잡한 웹사이트에서 신뢰할 수 없는 맞춤형 DOM 파싱 의존
• 많은 AI 호출과 작업을 안정적으로 캐시할 수 없음으로 인한 높은 비용
• 런타임에서의 해석 가능성 부족
• 새로운 자동화 생성 또는 실패 디버깅에 대한 제한된 지원

실제 사용법

설치는 npm을 통해 가능합니다: npm install libretto. 초기 설정에는 스킬 설치, Chromium 다운로드, 기본 스냅샷 모델 고정을 수행하는 npx libretto setup이 필요합니다. 작업 공간 준비 상태는 npx libretto status로 확인할 수 있으며, 스냅샷 분석 모델은 npx libretto ai configure <openai | anthropic | gemini | vertex>로 수동 변경할 수 있습니다.

Libretto는 코딩 에이전트를 통해 스킬로 사용되도록 설계되었으며, 예시 프롬프트는 다음과 같습니다:

• 원샷 스크립트 생성: "Libretto 스킬을 사용하세요. LinkedIn에 접속하여 첫 10개 게시물의 내용, 게시자, 반응 수, 첫 25개 댓글, 첫 25개 리포스트를 스크랩하세요."
• 대화형 스크립트 구축: "eclinicalworks EHR에서 환자의 기본 보험 ID를 가져오는 워크플로를 보여드리겠습니다. 환자 이름과 생년월일을 입력으로 받아 보험 ID를 반환하는 playwright 스크립트로 변환하기 위해 libretto 스킬을 사용하세요."
• 브라우저 자동화를 네트워크 요청으로 변환: "./integration.ts에 Hacker News에 접속하여 첫 10개 게시물을 가져오는 브라우저 스크립트가 있습니다. 이를 직접 네트워크 스크립트로 변환하세요."
• 손상된 통합 수정: "./integration.ts에 Availity에 접속하여 환자에 대한 자격 확인을 수행하는 브라우저 스크립트가 있습니다. 하지만 실행 시 손상된 선택자 오류가 발생합니다. 수정하세요."

CLI는 npx libretto open <url>과 같은 명령어로 세션을 시작하는 데 직접 사용할 수도 있습니다. 모든 명령어는 특정 세션을 대상으로 하기 위해 --session <name>을 허용합니다.

추가 기능으로는 에이전트가 스크립트를 생성하고 업데이트하는 데 도움이 되는 수동 사용자 작업 기록, 단계별 디버깅, 에이전트가 실수로 데이터를 제출하거나 수정하는 것을 방지하는 선택적 읽기 전용 모드, 그리고 코딩 저장소의 기존 추상화와 관례를 따르는 코드 생성이 포함됩니다.