DeepSeek-V4-Flash macht LLM-Steuerung für lokale Modelle praktikabel

Der neueste Beitrag von Seen Goedecke argumentiert, dass DeepSeek-V4-Flash die Kalkulation für LLM-Steuerung verändert – die Technik, Modellaktivierungen während der Inferenz zu manipulieren, um Ausgaben zu lenken. Der Schlüsselfaktor ist DwarfStar, ein abgespeckter llama.cpp-Fork von antirez, der nur DeepSeek-V4-Flash ausführt und Steuerung als erstklassige Funktion integriert.

Was ist Steuerung?

Steuerung extrahiert ein Konzept (wie „antwort kurz“) aus den internen Aktivierungen des Modells. Eine Methode: Hundert Eingabeaufforderungen zweimal eingeben – einmal normal, einmal mit „antwort kurz“ ergänzt – dann die Aktivierungsmatrizen subtrahieren, um einen Steuerungsvektor zu erhalten. Diesen Vektor zu den Aktivierungen einer beliebigen Eingabe hinzufügen, und das Modell wird kurz angebunden. Ein fortgeschrittenerer Ansatz verwendet spärliche Autoencoder (wie die von Anthropic), um Merkmalsmuster zu lernen, allerdings zu höheren Kosten.

Warum es wichtig ist

Steuerung verspricht direkte Kontrolle über das Modellverhalten ohne Prompt-Engineering. Statt „Du MUSST“-Qualifikationen zu schreiben, hätte man einen Schieberegler für Prägnanz oder Gewissenhaftigkeit. Aus interpretatorischer Sicht ist es ebenfalls faszinierend – denken Sie an Golden Gate Claudes Fixierung, aber selbst einstellbar.

Warum nicht schon früher?

Steuerung war eine Idee der Mittelklasse: zu grob für große Labore (die trainieren das Modell einfach neu) und für API-Benutzer unzugänglich (kein Zugriff auf Gewichte oder Aktivierungen). Open-Weight-Modelle waren zu schwach, um sich damit zu befassen – bis DeepSeek-V4-Flash, das stark genug für agentisches Programmieren ist. Selbst dann übertrifft Prompting oft die Steuerung für einfache Eigenschaften wie Ausführlichkeit; der wahre Gewinn liegt in der Steuerung eines nicht durch Prompting erreichbaren Konzepts wie Intelligenz.

Goedecke plant, DwarfStar genau zu verfolgen. Zum Zeitpunkt des Schreibens ist die Steuerungsunterstützung rudimentär (nur ein Ausführlichkeits-Umschalter ähnlich dem Prompting), aber die Veröffentlichung liegt erst acht Tage zurück.