DeepSeek-V4-Flash hace que la dirección de LLM sea práctica para modelos locales

La última publicación de Seen Goedecke sostiene que DeepSeek-V4-Flash cambia las reglas del juego para la dirección de LLM — la técnica de manipular las activaciones del modelo durante la inferencia para guiar las salidas. El motor clave es DwarfStar, una versión reducida de llama.cpp para fork por antirez que ejecuta solo DeepSeek-V4-Flash e integra la dirección como una característica de primera clase.

¿Qué es la dirección?

La dirección extrae un concepto (como "responder de manera concisa") de las activaciones internas del modelo. Un método: alimentar cien indicaciones dos veces — una normal, otra con "responder de manera concisa" añadido — luego restar las matrices de activación para obtener un vector de dirección. Agrega ese vector a las activaciones de cualquier indicación y el modelo se vuelve conciso. Un enfoque más avanzado utiliza autoencoders dispersos (como los de Anthropic) para aprender patrones de características, a un costo mayor.

Por qué es importante

La dirección promete un control directo sobre el comportamiento del modelo sin necesidad de ingeniería de indicaciones. En lugar de escribir calificativos "DEBES", tendrías un control deslizante para concisión o escrupulosidad. También es fascinante desde una perspectiva de interpretabilidad — piensa en la fijación del Golden Gate Claude, pero la tuya para ajustar.

¿Por qué no antes?

La dirección ha sido una idea de clase media: demasiado burda para los grandes laboratorios (simplemente reentrenan el modelo) e inaccesible para los usuarios de API (sin acceso a pesos o activaciones). Los modelos de pesos abiertos eran demasiado débiles para molestarse — hasta DeepSeek-V4-Flash, que es lo suficientemente potente para codificación agente. Incluso entonces, la indicación a menudo supera a la dirección para rasgos simples como la verbosidad; la verdadera ventaja es dirigir un concepto no indicable como inteligencia.

Goedecke planea seguir de cerca a DwarfStar. Al momento de escribir esto, su soporte de dirección es rudimentario (solo un interruptor de verbosidad similar a la indicación), pero el lanzamiento fue hace solo ocho días.