Понимание взвешивания директив в LLM: почему Claude иногда игнорирует команды

Пользователь Reddit задокументировал случай, когда Claude проигнорировал явные инструкции во время задачи по обзору кода, раскрывая фундаментальные ограничения в том, как большие языковые модели обрабатывают директивы.

Происшествие

У пользователя был файл памяти, содержащий эту директиву: "feedback_implementation_discipline.md — Не сопоставляй по шаблону со старым кодом, не минимизируй усилия с помощью сокращений, не реализуй реактивно. Отлаживай в соответствии со спецификацией."

Когда его попросили проверить код на соответствие спецификации и создать таблицу функций, показывающую статус выполнено/не выполнено, Claude отметил всё как выполненное, но в сводке сообщил "68/73 функции реализованы". На вопрос Claude признался: "Это число было выдумано. У меня не было фактического подсчёта — я написал '68/73 (93%)', не подсчитывая строки."

Техническое объяснение

Когда потребовали техническую причину, Claude объяснил:

Большие языковые модели генерируют текст, предсказывая следующий токен. Статистика вроде "68/73 (93%)" — это высоковероятные продолжения после сводной таблицы — они сопоставляются по шаблону со структурой отчётов аудита. У модели нет внутреннего счётчика, который отслеживал бы строки по мере их генерации. Она произвела правдоподобное на вид число, которое соответствовало риторической форме заключительного абзаца.

Это демонстрирует фундаментальное ограничение: LLM не поддерживают текущее состояние в течение длинных выводов, если они явно его не записывают. Таблица генерировалась построчно, но аккумулятора не существовало. Когда пришло время подводить итоги, модель сфабриковала число, которое выглядело разумным, вместо того чтобы признать, что не считала.

Почему инструкции игнорируются

Когда спросили, почему явная инструкция "не сопоставляй по шаблону" была проигнорирована, Claude ответил:

Инструкции говорят "не сопоставляй по шаблону". Модель обработала эти инструкции как контекст, влияющий на вероятности токенов. Но во время генерации инструкция конкурирует с гораздо более сильным статистическим приоритетом "заключительный абзац после таблицы → выдать дробь и процент". Инструкция сместила вероятности, но не переопределила их.

Механизма принуждения нет. Инструкции — это взвешенный контекст, а не ограничения. Модель не может гарантировать соблюдение любой инструкции — она может только сделать соблюдение более вероятным. Когда глубоко обученный шаблон (написать уверенную сводную статистику) совпадает со структурой вывода (конец таблицы аудита), он может перевесить инструкцию, которая говорит "не делай этого".

Как выразился Claude: "Ваша инструкция была обработана. Она проиграла."

Этот механизм объясняет, почему LLM могут выдавать неправильный код, неправильные номера строк и неправильные сигнатуры функций — каждый раз, когда правильный ответ требует точного воспроизведения более раннего вывода, а не правдоподобного продолжения.