Простой метод самодистилляции улучшает генерацию кода в больших языковых моделях.
Что делает простая самодистилляция
Простая самодистилляция (SSD) — это метод постобработки, при котором вы генерируете решения с помощью большой языковой модели с определёнными настройками температуры и усечения, а затем дообучаете модель на этих примерах с помощью стандартного контролируемого дообучения. Ключевая идея в том, что это работает без необходимости в верификаторе, учительской модели или обучении с подкреплением.
Улучшение производительности
Для Qwen3-30B-Instruct SSD повысил показатель pass@1 на LiveCodeBench v6 с 42,4% до 55,3%. Улучшения были сосредоточены на более сложных задачах, и метод показал обобщаемость для моделей Qwen и Llama масштабов 4B, 8B и 30B, включая как инструктивные, так и мыслительные варианты.
Почему это работает
Исследователи связали улучшения с конфликтом точности и исследования при декодировании в LLM. SSD изменяет распределение токенов контекстно-зависимым образом, подавляя отвлекающие «хвосты» там, где важна точность, сохраняя при этом полезное разнообразие там, где важно исследование. Это решает фундаментальное противоречие между генерацией точного кода и исследованием различных подходов к решению.
Практические последствия
SSD предлагает дополнительное направление постобработки для улучшения генерации кода LLM, которое относительно просто реализовать по сравнению с методами, требующими верификаторов или обучения с подкреплением. Подход работает с существующей инфраструктурой дообучения и не требует дополнительных моделей или сложных систем вознаграждения.
📖 Read the full source: HN AI Agents
👀 Смотрите также
EU заставляет Google открыть Android AI для сторонних разработчиков в соответствии с DMA
Европейская комиссия предлагает меры, позволяющие сторонним AI-ассистентам получать системный доступ на Android, включая вызов по ключевым словам, контекст экрана и доступ к аппаратному обеспечению для локальных моделей. Google называет это 'неоправданным вмешательством'.
中国的DeepSeek、Qwen和Moonshot：平价AI模型威胁美国主导地位
Bloomberg сообщает, что китайские модели ИИ DeepSeek, Qwen и Moonshot набирают популярность благодаря более низкой стоимости, бросая вызов американским лидерам ИИ.
Эффект "Дома с привидениями": пять типов ошибок в коде, созданном искусственным интеллектом
Анализ опыта разработчиков с использованием Claude AI выявляет устойчивую закономерность: первоначальный рост производительности в 10 раз сменяется накоплением технического долга. В источнике определены пять конкретных режимов сбоя, включая скрытые зависимости и паралич контекстного окна.
Повышенное количество ошибок в Claude Opus 4.7: статус обновления и чего ожидать
По состоянию на 2026-05-19T15:21Z в Claude Opus 4.7 наблюдается повышенное количество ошибок. Следите за статусом на status.claude.com.