Ухудшение качества контекста в ИИ-агентах: Уровень галлюцинаций растет с увеличением количества токенов

✍️ OpenClawRadar📅 Опубликовано: 28 марта 2026 г.🔗 Source
Ухудшение качества контекста в ИИ-агентах: Уровень галлюцинаций растет с увеличением количества токенов
Ad

Результаты тестирования производительности контекстного окна

Разработчик протестировал ухудшение качества контекста при разных объёмах токенов в ИИ-агентах, выявив значительные проблемы с производительностью по мере увеличения размера контекста.

Ключевые выводы тестирования

В ходе тестирования были измерены несколько критически важных показателей:

  • Уровень галлюцинаций в зависимости от размера контекста:
    • 10 тыс. токенов: ~3%
    • 50 тыс. токенов: ~11%
    • 200 тыс. токенов: ~28%
    • 1 млн токенов: неясно, но тренд показывает нарастающую деградацию
  • Точность воспроизведения: Ни одна из протестированных моделей (включая GPT-4, Claude или локальные модели) не достигла 90% точности воспроизведения информации из первых 10 повторов, как только контекст превысил 50 тыс. токенов.
  • Эффективность использования токенов: При 200 тыс. токенов процент контекста, действительно релевантного текущему запросу, в большинстве задач агента падает ниже 12%, что означает, что примерно 188 тыс. токенов добавляют шум, который модель должна обходить при рассуждении.
Ad

Анализ проблемы

Проблема, по-видимому, заключается не в забывании, а в недостатке внимания. Ранний контекст конкурирует с недавним, причём недавний обычно выигрывает из-за более высокой позиционной релевантности. Это приводит к тому, что ограничения, установленные в начале сессий (например, «используй PostgreSQL, без ORM»), постепенно размываются по мере накопления большего объёма контекста.

К 89-му повтору при 200 тыс. токенов внимание модели настолько распределено по всему контексту, что ранние ограничения фактически исчезают.

Текущие решения и их ограничения

Многие разработчики добавляют векторные базы данных для извлечения «релевантных» воспоминаний, что несколько помогает. Однако этот подход извлекает семантически похожий контент, а не тот, который нужен агенту для правильного рассуждения. Например, «используй PostgreSQL» не является семантически похожим на «напиши мне конечную точку для входа в систему», хотя это должно быть в контексте для правильного выполнения.

Разработчик ищет обратную связь о том, соответствуют ли эти выводы производственному опыту и какие подходы действительно сработали у других.

📖 Read the full source: r/LocalLLaMA

Ad

👀 Смотрите также

Спрос на электроэнергию в США достигнет рекордных уровней в 2026–2027 годах из-за ИИ и центров обработки данных
Новости

Спрос на электроэнергию в США достигнет рекордных уровней в 2026–2027 годах из-за ИИ и центров обработки данных

Управление энергетической информации США (EIA) прогнозирует рекордное потребление электроэнергии в 2026–2027 годах, в основном из-за роста нагрузок ИИ и расширения центров обработки данных.

OpenClawRadar
Anthropic откладывает изменения лимитов скорости API Claude Code
Новости

Anthropic откладывает изменения лимитов скорости API Claude Code

Anthropic отложил запрет на использование Claude Agent SDK и claude -p в рамках подписки. Первоначальный срок 15 июня перенесен для обновления планов.

OpenClawRadar
Bloomberg сообщает: потери рабочих мест в США, связанные с внедрением ИИ, начинают расти
Новости

Bloomberg сообщает: потери рабочих мест в США, связанные с внедрением ИИ, начинают расти

Bloomberg сообщает, что в США наблюдается значительная потеря рабочих мест в профессиях, затронутых ИИ, а обсуждение на Hacker News указывает на реальное влияние на разработчиков и других работников умственного труда.

OpenClawRadar
Выпущена модель MiniMax M2.7 с улучшенной производительностью в программировании.
Новости

Выпущена модель MiniMax M2.7 с улучшенной производительностью в программировании.

MiniMax выпустила модель искусственного интеллекта M2.7, которая набирает 56% в тестах SWE-Pro по программированию и обладает возможностями самооптимизации. Модель сохраняет цену в размере $0,30 за миллион входных токенов.

OpenClawRadar