Cerebras veröffentlicht Step-3.5-Flash-REAP-Modelle mit 40 % weniger Speicherbedarf.
Was das ist
Cerebras hat Step-3.5-Flash-REAP-Modelle veröffentlicht, die speichereffiziente, komprimierte Varianten ihrer größeren Modelle sind. Dies sind kleinere Versionen, die für das, was die Quelle als "Kartoffel-Setups" bezeichnet, entwickelt wurden, obwohl das 121B-Parameter-Modell immer noch erhebliche Ressourcen erfordert.
Wichtige Details aus der Quelle
Die Modelle sind auf Hugging Face verfügbar:
Das Step-3.5-Flash-REAP-121B-A11B-Modell wird von 196B auf 121B Parameter komprimiert, was einer 40%igen Speicherreduzierung entspricht, während nahezu identische Leistung wie beim vollständigen Modell erhalten bleibt.
Die Komprimierung verwendet REAP (Router-weighted Expert Activation Pruning), das als "eine neuartige Expert-Pruning-Methode, die redundante Experten selektiv entfernt, während die unabhängige Kontrolle des Routers über verbleibende Experten erhalten bleibt" beschrieben wird.
Funktionen und Fähigkeiten
- Nahezu verlustfreie Leistung: Behält nahezu identische Genauigkeit bei Codegenerierung, agentenbasiertem Codieren und Funktionsaufrufaufgaben im Vergleich zum vollständigen 196B-Modell
- 40% Speicherreduzierung: Von 196B auf 121B Parameter komprimiert, senkt Bereitstellungskosten und Speicheranforderungen
- Erhaltene Fähigkeiten: Behält alle Kernfunktionen einschließlich Codegenerierung, Mathematik & Logik und Tool-Aufrufen bei
- Drop-in-Kompatibilität: Funktioniert mit Standard-vLLM - keine Quellmodifikationen oder benutzerdefinierten Patches erforderlich
- Für den realen Einsatz optimiert: Besonders effektiv für ressourcenbeschränkte Umgebungen, lokale Bereitstellungen und akademische Forschung
Die Quelle merkt an, dass dies zwar "kleinere Versionen" sind, das 121B-Modell trotz der Komprimierung immer noch ein ziemlich leistungsstarkes Setup erfordert.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Microsoft Copilot fügt Anzeigen in GitHub- und GitLab-Pull-Requests ein.
Microsoft Copilot hat Berichten zufolge Werbung in 1,5 Millionen GitHub-Pull-Requests eingefügt und betrifft auch GitLab. Die Werbung erscheint innerhalb von Pull-Request-Beschreibungen, die vom KI-Coding-Assistenten generiert werden.
Längsschnittstudie findet KI-Produktivitätssteigerungen bei 10 %, nicht 10-fach
Eine Längsschnittstudie, die 40 Unternehmen von November 2024 bis Februar 2026 verfolgte, ergab, dass die KI-Nutzung im Durchschnitt um 65 % zunahm, der Durchsatz von Pull Requests jedoch nur um 9,97 %. Die Daten deuten darauf hin, dass das Programmieren nie der primäre Engpass in der Softwareentwicklung war.
Claude-Code v2.1.97 Veröffentlichung: NO_FLICKER-Verbesserungen, Berechtigungsbehebungen und MCP-Updates
Claude-Code v2.1.97 fügt einen Fokus-Ansichts-Umschalter (Strg+O) im NO_FLICKER-Modus hinzu, behebt mehrere Berechtigungs- und MCP-Verbindungsprobleme und verbessert den Sandbox-Netzwerkzugriff. Das Release behandelt das 429-Wiederholungsverhalten, Transkript-Persistenzprobleme und verschiedene UI-Fehler.
Richter stellt fest: Britisches Innenministerium nutzte KI-halluziniertes Dokument zur Ablehnung von Asylantrag
Ein hochrangiger britischer Richter entschied, dass das Home Office wahrscheinlich KI-generierte halluzinierte Beweise – eine nicht existierende Länderrichtliniennotiz – verwendet hat, um einen Asylantrag abzulehnen. Das fehlende Dokument wurde nie gefunden, und der Richter verglich die Praxis mit dem Stützen auf nichtige Beweise.