Kelet: AIエージェントのための自動根本原因分析

Keletの機能

Keletは、本番環境で動作するAIエージェントやLLMアプリケーションを継続的に監視し、失敗の原因を自動的に特定するサービスです。エージェントが明確なエラーでクラッシュするのではなく、誤った回答を静かに返すケースが多く、手動でのトレース分析が必要となります。Keletは、数千セッションにわたる失敗パターンをクラスタリングすることで、この調査を自動化します。

仕組み

• トレースとシグナル（ユーザーフィードバック、編集、クリック、感情分析、LLM-as-a-judgeなど）を接続します
• Keletがこれらのシグナルを処理し、各セッションに関する事実を抽出します
• 各ケースで何が問題だったかについて仮説を立てます
• セッション間で類似の仮説をクラスタリングし、まとめて調査します
• レビューして適用できる修正案とともに根本原因を提示します

重要な洞察：個々のセッションの失敗はランダムに見えますが、仮説をクラスタリングすると失敗パターンが浮かび上がります。

統合オプション

3つの統合方法：

• コーディングエージェント向けKeletスキル：コードベースをスキャンし、シグナル収集が必要な場所を発見し、すべてを自動的にセットアップします
• Python SDK：pip install kelet
• TypeScript SDK：npm install kelet

手動セットアップでは、エージェントコードに2行追加する必要があります。Keletは完全にOpenTelemetry準拠であるため、OTELで計装されたエージェントはそのまま動作します。

対応フレームワークとプラットフォーム

対応：OpenTelemetry、Langfuse、Mixpanel、OpenAI、Anthropic、LangChain、pydantic AI SDK、CrewAI、Strands、Agno、Mastra、PostHog、LangGraph、AutoGen、LlamaIndex、Haystack、Semantic Kernel、Gemini API。

コードを所有するあらゆるエージェントやLLMアプリケーションに対応：エージェントループ、マルチステップワークフロー、RAGパイプライン、チャットボット、自律エージェント。

Keletが適さない2つの状況：

• 他者が構築したAIツールを使用する場合（開発者としてのCursor、Claude Code、Copilot）
• 既存のエージェントプラットフォーム内でスキルやプラグインを構築している場合

技術詳細

• Keletのサーバーで実行（SOC 2認証済み）
• トレースを24時間365日継続的に取り込み
• 分析用のLLMトークンはKeletが負担（モデルAPI料金に影響なし）
• 使用量に基づく料金（kelet.ai/pricingを参照）
• 現在ベータ期間中で無料（クレジットカード不要）

パフォーマンス指標

パイロットコホートデータより：

• 73%のチームが誰も気づかなかった失敗を抱えていた（Keletが発見）
• トレース取り込みからプロンプト修正までの中央値：14.3分
• デザインパートナー展開で33,000以上のセッションを分析