RelayCode VS Code Extension leitet Claude-Code über souveräne RDUs weiter
OpenGPU hat RelayCode veröffentlicht, eine VS Code-Erweiterung, die als lokaler Proxy für KI-Coding-Agenten dient. Das Tool fängt Anfragen von Claude Code oder GitHub Copilot ab und leitet sie über das OpenGPU Relay-Netzwerk zu Open-Weight-Modellen weiter, die auf souveräner Infrastruktur laufen.
Wichtige Details
Die Erweiterung bietet mehrere spezifische Funktionen und Leistungsmerkmale:
- Infrastruktur: Workloads werden über Infercoms rekonfigurierbare Dataflow-Einheiten (RDUs) geleitet, die als dedizierte souveräne Rechenleistung ohne US-Jurisdiktion und mit GDPR-Konformität von Haus aus beschrieben werden.
- Leistung: Benchmarks zeigen 250+ Tokens pro Sekunde bei DeepSeek-R1 (671B) und 400+ Tokens pro Sekunde bei MiniMax M2.5. Modellwechsel sind nahezu verzögerungsfrei (Millisekunden) dank der Dataflow-Architektur.
- Kontextverwaltung: Die Erweiterung verwaltet automatisch
CLAUDE_AUTOCOMPACT-Einstellungen, um Agenten innerhalb der Modell-Kontextfenster zu halten, ohne Abstürze zu verursachen. - Datenschutz: Code bleibt auf dem lokalen Rechner; nur Inferenzanfragen erreichen das Relay-Netzwerk ohne Datenaufbewahrung.
- Aktueller Status: Das Team berichtet von etwa 23 Installationen und sucht Feedback zur Relay-Latenz von der Community.
- Zugang: Promo-Guthaben sind verfügbar, um RDU-Geschwindigkeiten kostenlos zu testen.
Das Tool wird als Möglichkeit positioniert, Anthropic-API-Kosten zu senken, während Claude-CLI-Workflows beibehalten werden, was besonders für Refactoring-Arbeiten nützlich ist.
📖 Quelle vollständig lesen: r/LocalLLaMA
👀 Siehe auch
Hybride Suche mit RRF verbessert KI-Gedächtnissystem im Vergleich zu reiner Vektorsuche
Ein Open-Source-AI-Gedächtnissystem mit PostgreSQL und pgvector stellte fest, dass reine Vektorsuche für exakte Übereinstimmungen unzureichend ist, fügte daher Volltextsuche hinzu und fusionierte Ergebnisse mittels Reciprocal Rank Fusion (RRF) mit k=60 sowie Abfrageanreicherung via Tokenizer.
Entwickler baut Open-Source-KI-Fähigkeit zur Validierung von Startup-Ideen und verwirft eigene Idee in 10 Minuten
Ein Entwickler hat eine Open-Source-KI-Fähigkeit namens startup-design erstellt, die durch 8 Phasen der Startup-Validierung führt, von der Ideenfindung bis zu den Finanzprognosen. Als er sie an seiner eigenen Startup-Idee testete, stellte die Fähigkeit schwierige Fragen, die zeigten, dass er nicht der richtige Gründer für dieses spezielle Konzept war.
Reddit-Nutzer testet Selbstlernfunktion von Hermes-KI-Agent und findet kritische Mängel
Ein Reddit-Nutzer testete die Selbstlernfunktion des Hermes KI-Agents, die automatisch Fähigkeiten aus Markdown-Dateien erstellt. Der Nutzer stellte fest, dass es seine eigenen Ergebnisse immer als erfolgreich bewertet, selbst wenn die Ausgabe falsch ist, und manuelle Bearbeitungen überschreibt.
skill-depot: Ein lokales Speicher- und Fähigkeitensystem für MCP-kompatible KI-Agenten
skill-depot ist ein Retrieval-System, das Agentenwissen als Markdown-Dateien speichert und Vektoreinbettungen nutzt, um semantisch zu suchen und selektiv nur relevante Inhalte zu laden. Es läuft 100 % lokal ohne API-Schlüssel, funktioniert mit jedem MCP-kompatiblen Agenten und kann mit npx skill-depot init eingerichtet werden.