Einseitige Chatbot-Oberfläche für lokal laufendes Gemma 4 26B A4B
Ein Entwickler hat eine Chatbot-Oberfläche auf einer einzelnen HTML-Seite erstellt, die für die Verwendung mit lokal laufendem Gemma 4 26B A4B konzipiert ist. Die Implementierung verbindet sich mit der API von LM Studio und bietet eine vollständige Chatbot-Oberfläche in einer einzigen HTML-Datei.
Technische Umsetzung
Das System läuft mit Gemma 4 26B A4B lokal mit einem 32K-Kontextfenster und erreicht 50-65 Token pro Sekunde. Das Modell ist auf zwei GPUs aufgeteilt: eine 7900 XT und eine 3060 Ti.
Oberflächenfunktionen
- Vollständige Streaming-Unterstützung für Echtzeit-Antworten
- Markdown-Rendering für formatierte Ausgaben
- Modellauswahl zum Wechseln zwischen verfügbaren Modellen
- Sechs Parameter-Schieberegler zur Feinabstimmung des Modellverhaltens
- Nachrichtenbearbeitung mit Verzweigungsmöglichkeiten im Verlauf
- Neugenerierungsfunktion zum Erneuern von Antworten
- Abbruch-Taste zum Stoppen der Generierung während des Streamings
- System-Prompt-Unterstützung für benutzerdefinierte Anweisungen
Entwicklungsdetails
Der Entwickler merkt an, dass Claude verwendet wurde, um zwei DOM-Fehler zu beheben, die Gemma nicht lösen konnte. Alle anderen Entwicklungsarbeiten wurden mit Gemma 4 abgeschlossen. Das Projekt ist auf GitHub zur Prüfung und Nutzung verfügbar.
Diese Art von Einzelseiten-Oberfläche ist besonders nützlich für Entwickler, die mit lokalen LLMs arbeiten und eine leichtgewichtige, anpassbare Chat-Oberfläche ohne den Aufwand komplexer Webanwendungen wünschen. Die Integration mit der API von LM Studio macht sie mit verschiedenen lokalen Modellen kompatibel, nicht nur mit Gemma.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Nelson v2.2.3 veröffentlicht: Multi-Agent-Koordination für Claude Code, plus ein Benchmark für diskrete Ereignissimulation
Nelson v2.2.3 enthält eine Multi-Agenten-Koordinationsfähigkeit für Claude Code, die eine maritime Metapher verwendet. Ein Benchmark mit 13 Konfigurationen zeigt, dass opus-4-7 mit Denkmodus dominiert; die Wahl der Fähigkeit spielt eine geringere Rolle.
Sokratischer Prompt-Generator, erstellt als React-Artefakt in Claude
Ein Entwickler hat einen sokratischen Prompt-Generator als React-Artefakt erstellt, der innerhalb von Claude läuft und automatisch die Eingabekomplexität erkennt sowie eine dreistufige Prompt-Generierung mit Fehlermodusanalyse bietet.
Wahre Kosten von KI-Codierungstools: 42 Stunden Overhead pro 60 Tage – Eine detaillierte Aufschlüsselung eines Solo-Entwicklers
Ein Solo-Entwickler hat 60 Tage lang jeden Dollar und jede Minute erfasst, die für KI-Codierungstools ausgegeben wurden. Abonnements (200 $/Monat) waren die geringsten Kosten; 42 Stunden Gemeinkosten durch schlechte Ergebnisse und Werkzeugwechsel waren die eigentliche Belastung. Der Nettoproduktivitätsgewinn betrug das 1,7- bis 2-fache, nicht das 10-fache. Überraschung: CodeRabbit, ein Überprüfungstool für 15 $/Monat, hatte den höchsten ROI.
Mneme: Ein PreToolUse-Hook, der Claude-Code-Bearbeitungen blockiert, die Architekturentscheidungen verletzen
Mneme ist ein PreToolUse-Hook für Claude Code, der jede Edit/Write/MultiEdit vor dem Schreiben auf die Festplatte mit einer lokalen Entscheidungsdatei abgleicht und Verstöße ohne manuelles Eingreifen blockiert.