実用的なAIサポートの改善：Claudeコード流出分析から

Claude Codeソース分析後の変化

開発者が流出したClaude Codeのソースコードを調査し、Chatbaseを使用した自身のAIカスタマーサポート設定に実用的な改善点を特定しました。この分析により、Anthropicのツールは独自の画期的な技術ではなく、緻密なプロンプトエンジニアリングに依存していることが明らかになりました。

6つの具体的な実装変更

• テキストスニペットの見直し: 5つの曖昧なスニペットから、Claude Codeのアプローチを反映した20以上の具体的な行動指示へ拡大。これにより、エッジケース、トーン、エスカレーション基準、エージェントが約束できることとできないことの明確な境界、敏感な状況での正確な表現が網羅されるようになりました。
• 感情分析の活用開始: Claude Codeは、冒涜的な言葉などのキーワードをパターンマッチングしてイベントを記録する正規表現によるフラストレーション検出器を使用しています。開発者は現在、Chatbaseの感情分析タブを毎週確認しており、Anthropicが最先端製品で基本的なフラストレーション検出を実装しているなら、利用可能なツールを使う価値があると認識しています。
• 構造化されたQ&Aペアの構築: 最も一般的でリスクの高い顧客質問に対して、明示的な質問と回答のペアを作成。これにより、エージェントは非構造化データから回答を生成するのではなく、テスト済みの応答パスを持つようになりました。これは、Claude Codeの約25のツールが特定のタスクを処理するための定義された方法を提供するのと同様です。
• 敵対的テストパイプラインの実装: Claude Codeには、ユーザー入力から最終応答までの11段階の入力から出力へのパイプラインがあります。開発者は、主要サポートエージェントを多段階検証でストレステストすることを唯一の任務とする第二のエージェントをカスタマイズしました。この敵対的エージェントは、顧客に何かが届く前に、各段階での応答について、幻覚、ポリシー違反、不適切なエスカレーション判断をチェックします。
• アクションとツールの連携: チケット作成、注文照会、人間へのエスカレーションのためのアクションを設定。これにより、エージェントは単なる会話型FAQから、実際に問題を解決できるものへと変わり、Claude Codeの価値がモデルを実際のツールに接続することから来ていることを確認しました。
• トピックとカバレッジの相互参照: トピックタブを使用して顧客が実際に何について質問しているかを確認し、Q&Aペアとテキストスニペットと相互参照。明示的にカバーされていないトピッククラスターは、エージェントが即興で対応するギャップを表しており、これはサポートエージェントが通常失敗する場所です。

見送られた項目

開発者は意図的に、アンチ蒸留ポイズンピル（誰も彼らのエージェントでモデルを訓練していないため）、アンダーカバーモード（顧客にAIであることを知らせたいため）、およびたまごっちコンパニオン機能を実装しませんでした。

開発者は、実装前後の解決率、エスカレーション率、感情スコアを記載したフォローアップを2週間後に投稿する予定です。