Точность системы рассуждений STAR падает со 100% до 0% в рабочих запросах.

✍️ OpenClawRadar📅 Опубликовано: 19 марта 2026 г.🔗 Source
Точность системы рассуждений STAR падает со 100% до 0% в рабочих запросах.
Ad

Исследователь протестировал структуру рассуждений STAR в изоляции и в производственном промпте и обнаружил, что точность упала со 100% до 0-30%. Ранее было показано, что эта структура повышает точность Claude на задаче с неявным ограничением с 0% до 100% в чистых тестовых условиях.

Когда точно такая же структура STAR была протестирована внутри реального производственного промпта — 60-строчного системного промпта из приложения для подготовки к собеседованиям, который естественно развивался в течение месяцев разработки — точность резко упала. Производственный промпт содержал рекомендации в стиле «Начинайте с конкретики» и «Сначала вывод», которые заставляли модель выдавать заключение до того, как могло выполниться рассуждение по STAR.

В одном случае модель выдала: «Краткий ответ: Идти пешком». с последующим полным разбором по STAR, который правильно определил ограничение и пришёл к выводу «Поезжайте на машине на мойку». Рассуждение по STAR работало правильно, но неверный ответ уже был зафиксирован в первоначальном выводе.

Ad

Ключевой вывод заключается в том, что при авторегрессионной генерации, как только модель выводит токен, этот токен становится частью контекста условия. Инструкция «Начинайте с конкретики» спровоцировала преждевременную фиксацию, и последующее рассуждение по STAR стало постфактумным обоснованием, а не руководством для первоначального ответа.

Практический вывод: разработчикам, создающим производственные системы ИИ, следует проверять структуры рассуждений внутри их фактических промптов, а не в чистых 10-строчных тестах. Методика, которая набирает 100% в изоляции, может набрать 0% в производстве из-за конфликтующих инструкций или структуры промпта.

📖 Read the full source: r/ClaudeAI

Ad

👀 Смотрите также

Модель MiniMax M2.7 демонстрирует высокую производительность в роли ИИ-агента для программирования.
Новости

Модель MiniMax M2.7 демонстрирует высокую производительность в роли ИИ-агента для программирования.

Разработчик протестировал MiniMax M2.7 в качестве основного ИИ-агента для программирования и обнаружил, что он превзошёл GPT 5.4 и Gemini 3.1 Pro по скорости и задачам, связанным с инструментами, с результатами бенчмарков 56.22% на SWE-Pro и 57.0% на Terminal Bench 2.

OpenClawRadar
Sarvam AI выпускает открытые языковые модели на 30 и 105 миллиардов параметров, созданные на индийской инфраструктуре для обучения.
Новости

Sarvam AI выпускает открытые языковые модели на 30 и 105 миллиардов параметров, созданные на индийской инфраструктуре для обучения.

Sarvam AI открыла исходный код Sarvam 30B и Sarvam 105B — двух моделей логического вывода, обученных с нуля в Индии на вычислительных мощностях, предоставленных в рамках миссии IndiaAI. Обе модели используют архитектуру Mixture-of-Experts с разреженной маршрутизацией экспертов и оптимизированы для эффективного развертывания на оборудовании — от GPU до ноутбуков.

OpenClawRadar
Агенты Claude на Bedrock получают автономные микроплатежи через протокол x402
Новости

Агенты Claude на Bedrock получают автономные микроплатежи через протокол x402

AWS AgentCore Payments позволяет агентам Claude на Bedrock иметь кошельки и отправлять микроплатежи в USDC во время выполнения задач через HTTP-стандарт x402, что обеспечивает автономные платные вызовы API и делегирование подзадач без одобрения человека.

OpenClawRadar
Anthropic блокирует подписки на Claude через сторонние инструменты
Новости

Anthropic блокирует подписки на Claude через сторонние инструменты

Anthropic внедрила серверные блокировки на подписки Claude Pro/Max, используемые через сторонние OAuth-интеграции, ссылаясь на то, что субсидированный доступ использовался в больших масштабах. Изменение политики включает выставление счетов за 'Дополнительное использование', что делает эти интеграции экономически невыгодными.

OpenClawRadar