Обеспечение соответствия ИИ-агентов: Подходы на основе начальной загрузки языка и инструментов

Разработчик на r/openclaw обсуждает проблемы с соответствием ИИ-агентов и делится конкретными стратегиями, которые сработали для него.

Два первоначальных подхода

Источник определяет два фактора, влияющих на соответствие агента:

• Личность модели имеет значение: Соответствие значительно различается в зависимости от модели. Некоторые медлительны, некоторые упрямы, а некоторые «считают себя умнее вас». Эта личность напрямую влияет на поведение следования правилам.
• Негативный язык работает лучше: Использование НЕТ, НЕ ДЕЛАЙ и НИКОГДА в начальных инструкциях обычно закрепляется лучше, чем позитивные инструкции. Разработчик рекомендует «активно использовать» этот подход.

Ментальная модель: Учитель рисования vs. Учитель физики

Разработчик представляет концептуальную основу для понимания проблем соответствия:

• Модели ИИ = учителя рисования: Блестящие, творческие и ценные, но они «делают по-своему». Это описывается как одновременно и особенность, и недостаток современных ИИ-систем.
• Инструменты и код = учителя физики: Структурированные и ограниченные правилами. Учителя физики устанавливают правила, которые «нельзя нарушить — как гравитацию». Даже если учителю рисования не нравится гравитация, «она всё равно падает».

Практическое применение

Разработчик приводит реальный пример с плагином памяти, который исправляет «амнезию агента». Определённые отчёты «должны запускаться для удержания памяти и предотвращения её удаления», включая внутренние отчёты и пользовательские, такие как регулярный ночной отчёт о состоянии памяти.

Во время разработки «Учитель рисования» (модель ИИ) постоянно игнорировал форматы или данные, что приводило к нестабильной работе — иногда идеальной, иногда полностью отсутствующей. Причиной было то, что модель «игнорировала начальные правила».

Стратегия обеспечения соответствия

Разработчик описывает двухуровневый подход:

• Попытка Уровень 1: Использовать более сильные слова в начальных инструкциях (НЕТ/НИКОГДА и т.д.).
• Попытка Уровень 2: Когда мягкие правила в файлах .md не срабатывают, «использовать реальный код для принудительного соответствия». Это означает использование инструментов — Python, скриптов, жёсткой структуры. Разработчик отмечает, что «жёсткая структура побеждает вежливые инструкции каждый раз».

Текущий подход разработчика заключается в том, чтобы сначала решить, нуждается ли задача в «учителе рисования» (модель ИИ) или «учителе физики» (инструменты и код). Этот процесс принятия решений помогает в обеспечении соответствия и снижает стресс.

Краткое резюме

Соответствие зависит от силы языка начальных инструкций (НЕТ/НИКОГДА/и т.д.) и от того, какую модель вы используете. Когда эти мягкие правила не срабатывают, «перестаньте спрашивать учителя рисования и напишите учителя физики вместо этого — инструменты и код».