リブレット：AIコーディングエージェント向け決定論的ブラウザ自動化生成

Librettoは、コーディングエージェントにライブブラウザとトークン効率の良いCLIを提供する、堅牢なWeb統合を構築するためのツールキットです。ブラックボックスとして動作する実行時AIエージェントから離れ、事前に生成されたスクリプトを読み、変更し、バージョン管理し、デバッグできる実際のコードとして提供する「開発時AI」へと移行します。

主な機能とアプローチ

Librettoは、Playwright UI自動化とブラウザセッション内での直接ネットワーク/APIリクエストを組み合わせたハイブリッドアプローチを採用し、信頼性とボット検出回避を向上させます。これにより、カスタムDOM解析に依存する実行時AIツールの制限、特に医療システムのような古いまたは複雑なWebサイトでの信頼性の問題に対処します。

このツールは、医療スタートアップでEHRおよびペイヤーポータル統合のブラウザ自動化を1年間維持し、失敗した自動化のデバッグに時間がかかった経験から構築されました。実行時AIツールの4つの主な問題に対処します：

• 複雑なWebサイトでは信頼性の低いカスタムDOM解析への依存
• 多くのAI呼び出しとアクションの信頼性のあるキャッシュができないことによる高コスト
• 実行時の解釈可能性の欠如
• 新しい自動化の生成や失敗のデバッグへの限定的な支援

実用的な使用方法

インストールはnpm経由で行います：npm install libretto。初回セットアップでは、npx libretto setupを実行し、スキルをインストールし、Chromiumをダウンロードし、デフォルトのスナップショットモデルを固定します。ワークスペースの準備状況はnpx libretto statusで確認でき、スナップショット分析モデルはnpx libretto ai configure <openai | anthropic | gemini | vertex>で手動で変更できます。

Librettoは、コーディングエージェントを通じてスキルとして使用されるように設計されており、以下のようなプロンプト例があります：

• ワンショットスクリプト生成：「Librettoスキルを使用してください。LinkedInにアクセスし、最初の10件の投稿の内容、投稿者、リアクション数、最初の25件のコメント、最初の25件のリポストをスクレイピングしてください。」
• インタラクティブなスクリプト構築：「eclinicalworks EHRで患者の一次保険IDを取得するワークフローを示します。Librettoスキルを使用して、患者名と生年月日を入力として保険IDを返すPlaywrightスクリプトに変換してください。」
• ブラウザ自動化をネットワークリクエストに変換：「./integration.tsにHacker Newsにアクセスして最初の10件の投稿を取得するブラウザスクリプトがあります。これを直接ネットワークスクリプトに変換してください。」
• 壊れた統合の修正：「./integration.tsに、Availityにアクセスして患者の適格性チェックを実行するブラウザスクリプトがあります。実行時に壊れたセレクターエラーが発生します。修正してください。」

CLIは、npx libretto open <url>などのコマンドでセッションを起動するためにも直接使用できます。すべてのコマンドは、特定のセッションをターゲットにするために--session <name>を受け入れます。

追加機能には、エージェントがスクリプトを生成および更新するのを支援するための手動ユーザーアクションの記録、ステップ実行デバッグ、エージェントが誤ってデータを送信または変更するのを防ぐオプションの読み取り専用モード、およびコーディングリポジトリの既存の抽象化と規約に従うコードの生成が含まれます。