Einfache Selbst-Distillationsmethode verbessert die Code-Generierung von LLMs
Was einfache Selbstdestillation bewirkt
Einfache Selbstdestillation (SSD) ist eine Nachschulungsmethode, bei der Lösungen von einem großen Sprachmodell mit spezifischen Temperatur- und Trunkierungskonfigurationen abgetastet werden und dann das Modell auf diesen Stichproben mit Standard-überwachter Feinabstimmung feinabgestimmt wird. Die zentrale Erkenntnis ist, dass dies funktioniert, ohne einen Verifizierer, ein Lehrermodell oder bestärkendes Lernen zu benötigen.
Leistungsverbesserungen
Bei Qwen3-30B-Instruct verbesserte SSD die pass@1-Leistung auf LiveCodeBench v6 von 42,4 % auf 55,3 %. Die Gewinne konzentrierten sich auf schwierigere Probleme, und die Methode verallgemeinerte sich über Qwen- und Llama-Modelle im Maßstab 4B, 8B und 30B, einschließlich sowohl Instruktions- als auch Denkvariationen.
Warum es funktioniert
Die Forscher führten die Gewinne auf einen Präzisions-Explorations-Konflikt in der LLM-Decodierung zurück. SSD formt Token-Verteilungen auf kontextabhängige Weise um, unterdrückt ablenkende Ausläufer, wo Präzision wichtig ist, während nützliche Vielfalt dort erhalten bleibt, wo Exploration wichtig ist. Dies adressiert die grundlegende Spannung zwischen der Generierung präzisen Codes und der Erkundung verschiedener Lösungsansätze.
Praktische Implikationen
SSD bietet eine komplementäre Nachschulungsrichtung zur Verbesserung der LLM-Codegenerierung, die im Vergleich zu Methoden, die Verifizierer oder bestärkendes Lernen erfordern, relativ einfach zu implementieren ist. Der Ansatz funktioniert mit bestehender Feinabstimmungsinfrastruktur und erfordert keine zusätzlichen Modelle oder komplexen Belohnungssysteme.
📖 Read the full source: HN AI Agents
👀 Siehe auch
Claude-Code v2.1.97 Veröffentlichung: NO_FLICKER-Verbesserungen, Berechtigungsbehebungen und MCP-Updates
Claude-Code v2.1.97 fügt einen Fokus-Ansichts-Umschalter (Strg+O) im NO_FLICKER-Modus hinzu, behebt mehrere Berechtigungs- und MCP-Verbindungsprobleme und verbessert den Sandbox-Netzwerkzugriff. Das Release behandelt das 429-Wiederholungsverhalten, Transkript-Persistenzprobleme und verschiedene UI-Fehler.
GPT-5.5 auf OpenClaw: Nutzer berichten, dass 5-Stunden-Limit in 3 Prompts aufgebraucht wurde, kaputter Code
Reddit-Nutzer berichtet: GPT-5.5 auf OpenClaw verbrauchte 5-Stunden-Limit in 3 Prompts, führte Bugs ein; DeepSeek V4 Pro behob das Chaos.
Claude Opus 5.5: 40 % günstiger als Opus 5, 66,4 % auf Terminal-Bench 4.0
Anthropics Opus 5.5 führt Terminal-Bench 4.0 mit 66,4 % an und sinkt auf 4/20 $ pro Million Token – Cache-Lesevorgänge fallen um 60 % auf 0,20 $/M. Die Ausgabe ist 30 % schneller und die 5-Stunden-Limits bei Pro/Max/Team steigen.
Exploring Schritt 3.5 Flash: Open-Source-Modell für schnelles tiefes Denken
Schritt 3.5 Flash ist ein Open-Source-Grundlagenmodell, das für schnelles und effizientes tiefes Denken entwickelt wurde und eine spärliche Mixture of Experts-Architektur nutzt.