DeepSeek-V4-Flash делает управление LLM практичным для локальных моделей

В своей последней статье Шин Гёдекс утверждает, что DeepSeek-V4-Flash меняет правила игры в управлении LLM — технике манипуляции активациями модели во время вывода для направления выходных данных. Ключевым фактором является DwarfStar — урезанный форк llama.cpp от antirez, который запускает только DeepSeek-V4-Flash и встраивает управление как функцию первого класса.

Что такое управление?

Управление извлекает концепцию (например, "отвечай кратко") из внутренних активаций модели. Один из методов: подайте сотню подсказок дважды — один раз обычным образом, другой раз с добавлением "отвечай кратко" — затем вычтите матрицы активаций, чтобы получить вектор управления. Добавьте этот вектор к активациям любой подсказки, и модель станет краткой. Более продвинутый подход использует разреженные автоэнкодеры (как у Anthropic) для изучения паттернов признаков, но это дороже.

Почему это важно

Управление обещает прямой контроль над поведением модели без инженерии подсказок. Вместо написания ограничителей вроде "вы ОБЯЗАНЫ" у вас будет ползунок для краткости или добросовестности. Это также увлекательно с точки зрения интерпретируемости — вспомните одержимость Golden Gate Claude, но настраиваемую вами.

Почему не раньше?

Управление было идеей среднего класса: слишком грубой для крупных лабораторий (они просто переобучают модель) и недоступной для пользователей API (нет доступа к весам или активациям). Модели с открытыми весами были слишком слабы, чтобы с ними возиться — до DeepSeek-V4-Flash, который достаточно силен для агентного программирования. Даже в этом случае подсказки часто превосходят управление для простых качеств, таких как многословность; настоящий выигрыш — управление неподдающейся подсказкам концепцией, такой как интеллект.

Гёдекс планирует внимательно следить за DwarfStar. На момент написания его поддержка управления rudimentary (просто переключатель многословности, похожий на подсказки), но релиз был всего восемь дней назад.