DeepSeek-V4-Flash Torna o Controle de LLMs Prático para Modelos Locais

O último post de Seen Goedecke argumenta que o DeepSeek-V4-Flash muda o cálculo para a direção de LLMs — a técnica de manipular ativações do modelo durante a inferência para guiar as saídas. O principal impulsionador é o DwarfStar, um fork simplificado do llama.cpp feito por antirez que roda apenas o DeepSeek-V4-Flash e incorpora a direção como um recurso de primeira classe.

O que é direção?

Direção extrai um conceito (como "responda de forma concisa") das ativações internas do modelo. Um método: alimente cem prompts duas vezes — uma vez normal, outra vez com "responda de forma concisa" anexado — depois subtraia as matrizes de ativação para obter um vetor de direção. Adicione esse vetor às ativações de qualquer prompt e o modelo se torna conciso. Uma abordagem mais avançada usa autoencoders esparsos (como os da Anthropic) para aprender padrões de características, a um custo maior.

Por que isso importa

Direção promete controle direto sobre o comportamento do modelo sem engenharia de prompt. Em vez de escrever qualificadores "você DEVE", você teria um controle deslizante para concisão ou conscienciosidade. Também é fascinante do ponto de vista da interpretabilidade — pense na fixação do Golden Gate Claude, mas sua para ajustar.

Por que não antes?

Direção tem sido uma ideia de classe média: muito grosseira para grandes laboratórios (eles apenas retreinam o modelo) e inacessível para usuários de API (sem acesso a pesos ou ativações). Modelos de pesos abertos eram muito fracos para se preocupar — até o DeepSeek-V4-Flash, que é forte o suficiente para codificação agêntica. Mesmo assim, o prompting muitas vezes supera a direção para características simples como verbosidade; a verdadeira vantagem é direcionar um conceito não-promptável como inteligência.

Goedecke planeja acompanhar o DwarfStar de perto. No momento da escrita, seu suporte a direção é rudimentar (apenas um alternador de verbosidade semelhante a prompting), mas o lançamento foi há apenas oito dias.