Снижение соответствия системному промпту Claude в длинных беседах

Пользователь Reddit сообщает, что соблюдение системных промптов Claude значительно ухудшается в длинных беседах, особенно это затрагивает ИИ-агентов для программирования с конкретными правилами форматирования и ограничениями.

Детали проблемы

Пользователь запускает несколько агентов на основе Claude для внутренних инструментов, каждый с системными промптами, содержащими конкретные правила о формате вывода, темах, которых следует избегать, и обработке крайних случаев. Хотя они работают идеально в первые 20-30 обменов, соблюдение начинает снижаться примерно на 40-50 сообщении.

Конкретные наблюдаемые проблемы:

• Агенты перестают следовать правилам форматирования
• Они становятся «полезными» способами, которые системный промпт явно запрещает
• Они забывают ограничения, которые были ясны в начале

Пользователь отмечает, что это не ошибка, а скорее то, как работают контекстные окна под нагрузкой, когда системные промпты конкурируют с 40+ сообщениями истории диалога за внимание.

Обходные пути и решения

Пользователь делится несколькими практическими подходами, которые сработали:

• Повторение критических правил: Каждые 15-20 сообщений повторяйте 3 главных правила, которые нельзя потерять, в сжатой форме (не полный системный промпт)
• Сокращение бесед: Если задача требует более 30 обменов, начните новую сессию с краткого изложения произошедшего
• Стратегическое размещение промптов: Поместите самые важные ограничения как в начало, так и в конец системного промпта, поскольку модели уделяют больше внимания обеим позициям
• Тестирование в масштабе: Тестируйте своих агентов на 50 сообщении, а не только на 5, поскольку демонстрации успешного сценария не выявляют эту проблему

Пользователь подчеркивает, что об этой проблеме говорят недостаточно, и приглашает других поделиться надежными шаблонами для сохранения следования инструкциям в длительных сессиях.