Практические улучшения поддержки ИИ на основе анализа утечки кода Claude

Что изменилось после анализа исходного кода Claude Code

Разработчик изучил утекший исходный код Claude Code и определил практические улучшения для собственной системы поддержки клиентов на основе ИИ с использованием Chatbase. Анализ показал, что инструмент Anthropic полагается на тщательную инженерию промптов, а не на прорывные проприетарные технологии.

Шесть конкретных изменений в реализации

• Переработанные текстовые фрагменты: Расширены с 5 расплывчатых фрагментов до 20+ конкретных инструкций по поведению, отражающих подход Claude Code. Теперь они охватывают крайние случаи, тон общения, критерии эскалации, четкие границы того, что агент может и не может обещать, и точные формулировки для деликатных ситуаций.
• Начал использовать аналитику настроений: Claude Code использует детектор разочарования на основе регулярных выражений, который сопоставляет шаблоны с ключевыми словами, такими как ненормативная лексика, и регистрирует события. Разработчик теперь еженедельно просматривает вкладку Sentiment в Chatbase, понимая, что если Anthropic внедряет базовое обнаружение разочарования в передовом продукте, стоит использовать доступные инструменты.
• Создал структурированные пары вопросов и ответов: Создал явные пары вопросов и ответов для наиболее распространенных и критически важных вопросов клиентов. Это дает агенту проверенные пути ответов вместо генерации ответов из неструктурированных данных, аналогично примерно 25 инструментам Claude Code, которые предоставляют определенные способы обработки конкретных задач.
• Внедрил конвейер тестирования на устойчивость: Claude Code имеет 11-шаговый конвейер от ввода пользователя до финального ответа. Разработчик настроил второго агента, единственная задача которого — стресс-тестирование основного агента поддержки через многоэтапную валидацию. Этот агент проверяет ответы на каждом этапе на наличие галлюцинаций, нарушений политик и неверных решений об эскалации до того, как что-либо дойдет до клиентов.
• Подключил действия к инструментам: Настроил Actions для создания тикетов, поиска заказов и эскалации к человеку. Это превратило агента из говорящей FAQ в инструмент, который действительно может решать проблемы, подтверждая, что ценность Claude Code заключается в подключении модели к реальным инструментам.
• Перекрестные ссылки тем с охватом: Использует вкладку Topics, чтобы видеть, о чем на самом деле спрашивают клиенты, затем сопоставляет с парами вопросов и ответов и текстовыми фрагментами. Любой кластер тем, который явно не охвачен, представляет собой пробел, где агент будет импровизировать, что обычно является точкой отказа агентов поддержки.

Что было пропущено

Разработчик намеренно избегал внедрения ядовитых таблеток против дистилляции (поскольку никто не обучает модель на их агенте), режима под прикрытием (они хотят, чтобы клиенты знали, что это ИИ) и функции компаньона Tamagotchi.

Разработчик планирует опубликовать продолжение через две недели с данными о проценте разрешения проблем, проценте эскалации и показателях настроений до и после внедрения.