UI und Server für Anthropics Natural Language Autoencoder auf llama.cpp
Anthropics erste Open-Weight-Modelle, die Natural Language Autoencoder (NLAs), sind Feinabstimmungen beliebter Open-Weight-Architekturen. Da sie die zugrunde liegende Modellarchitektur oder den Modellierungscode nicht ändern, ist die Inferenz mit llama.cpp unkompliziert. Ein Entwickler hat alle NLA-Funktionen – Aktivierungsextraktion, Aktivierungserklärung, Aktivierungsrekonstruktion und Steuerung durch Erklärungsbearbeitung – in einen benutzerdefinierten llama.cpp-Server integriert, gepaart mit einer Mikupad-Benutzeroberfläche für tokenweise Aktivierungserklärung und Steuerung.
Hauptfunktionen
- Aktivierungsextraktion: Extrahiert interne Aktivierungen aus jeder Schicht des Basismodells.
- Aktivierungserklärung: Liefert menschenlesbare Erklärungen für extrahierte Aktivierungen.
- Aktivierungsrekonstruktion: Rekonstruiert Aktivierungen aus ihren Erklärungen.
- Steuerung durch Erklärungsbearbeitung: Ändert Erklärungen und steuert die Modellausgabe entsprechend.
Technische Details
Der Server basiert auf llama.cpp und erfordert das gleichzeitige Laden von drei Modellen: das Basismodell, das Actor-Modell und das Critic-Modell. Dies ist ein speicherintensiver Aufbau. Der Entwickler arbeitet an einer LoRA-basierten Version, die das Laden eines einzigen Modells in den Speicher erlauben würde, wodurch der Speicherbedarf deutlich reduziert wird.
Die Mikupad-Benutzeroberfläche bietet eine tokenweise Schnittstelle für Aktivierungserklärung und Steuerung. Sie können überprüfen, welche Tokens bestimmte Merkmale aktivieren, und das Verhalten des Modells anpassen, indem Sie Erklärungen in Echtzeit bearbeiten.
Erste Schritte
Quellcode und Einrichtungsanweisungen sind auf Reddit verfügbar. Derzeit benötigen Sie die drei NLA-Modell-Checkpoints (Base, Actor, Critic) und müssen den benutzerdefinierten llama.cpp-Server kompilieren. Die LoRA-Version folgt in Kürze.
📖 Quelle: r/LocalLLaMA
👀 Siehe auch

Agentlint: GitHub-App, die Widersprüche in CLAUDE.md und defekte Verweise bei jedem PR erkennt.
Agentlint ist eine GitHub-App, die bei jedem PR Ihre gesamte Agent-Regeloberfläche (CLAUDE.md, AGENTS.md, Skills, Hooks) prüft und Inline-Kommentare zu Widersprüchen, ungültigen Pfaden und nicht unterstützten Harness-Funktionen postet. Kostenlos für öffentliche Repos.

PocketBot: Ein lokaler KI-Autopilot für iOS mit App-Intents und On-Device-Inferenz
PocketBot ist eine iOS-App, die ein quantisiertes 3B-Llama-Modell lokal auf dem Neural Engine des iPhones über Metal ausführt und dabei Apples AppIntents- und CoreLocation-Frameworks nutzt, um ereignisgesteuerte Automatisierungen ohne Cloud-Datenübertragung zu erstellen.

Opendesk: MCP + SOM-Algorithmus zur KI-Desktopsteuerung über Claude Code
Opendesk gibt KI-Agenten Augen und Hände auf Ihrem Desktop über einen MCP-Server mit einem benutzerdefinierten SOM-Algorithmus. Integriert mit Claude Code oder jeder Agentenplattform für Maus-/Tastatursteuerung, Lernen, Wiederholung und Planung.

Claudraband: Terminal-Wrapper für persistente Claude-Code-Sitzungen
Claudraband umhüllt die offizielle Claude Code TUI in einer kontrollierten Terminalumgebung, um wiederaufnehmbare Workflows, Fernsteuerung von Sitzungen über einen HTTP-Daemon und ACP-Server-Integration für alternative Frontends wie Zed oder Toad zu ermöglichen. Es erfordert Node.js/Bun, authentifiziertes Claude Code und tmux für erstklassige lokale Workflows.