Implementierung eines lokalen Sprachassistenten mit Qwen3 auf RTX 5060 Ti
Fulloch ist ein vollständig lokaler Sprachassistent für die Hausautomation, der das Qwen3-Framework für ASR-, LLM- und TTS-Funktionen nutzt, alles läuft auf einer RTX 5060 Ti mit 16 GB VRAM. Diese Konfiguration ermöglicht eine effiziente Steuerung der Hausautomation, ohne auf externe Server für die Verarbeitung angewiesen zu sein.
Wichtige Details
- Verwendete Software: Qwen3 ASR&TTS (1,7 Biliarden Parameter), Qwen3 4B Instruct 2507 Modell für die Sprachverarbeitung.
- Hardware: Läuft auf einer RTX 5060 Ti mit 16 GB VRAM und verarbeitet umfangreiche Daten lokal.
- Sprachklonung: Implementiert einen Klon der Stimme von Morgan Freeman für die Text-in-Sprache-Ausgabe.
- Integrationswerkzeuge: Kompatibel mit Spotify, Philips Hue Lichtsteuerung, AirTouch Klimasteuerung und Online-Wetterabfrage über Australiens BOM.
- Alternativen für kleinere Systeme: Beinhaltet Kokoro für TTS und Moonshine für ASR als leichtere Alternativen.
- Standalone-Betrieb: Wie in einer Demo gezeigt, wenn der SearXNG-Server ausgefallen ist, greift Fulloch auf interne Daten zu und umgeht externe Webabfragen.
Es ist eine ideale Lösung für Entwickler und Enthusiasten der Hausautomation, die nach robusten, lokalen Verarbeitungsoptionen suchen und dabei die Kontrolle über ihre Daten und ihre Privatsphäre behalten möchten.
📖 Lesen Sie die vollständige Quelle: r/LocalLLaMA
👀 Siehe auch
Open-Source-MCP-Server verbindet Claude mit der Mailchimp-API
Ein Entwickler hat einen Mailchimp MCP-Server mit Claude Code erstellt, der 53 Tools für Kampagnen, Zielgruppen, Berichte, Automatisierungen und E-Commerce mit integrierten Sicherheitsmodi und schreibgeschützter Konfiguration bietet.
OpenClaw-WebTop: Führen Sie OpenClaw mit Ollama und Ubuntu Desktop in GitHub Codespaces aus
OpenClaw-WebTop bietet eine Möglichkeit, eine vollständige OpenClaw-Instanz mit Ollama und Ubuntu MATE Desktop direkt im Browser über GitHub Codespaces auszuführen, ohne lokale Docker-Installation oder VPS.
agentcache: Python-Bibliothek für Multi-Agent-LLM-Präfix-Caching
agentcache ist eine Python-Bibliothek, die es Multi-Agenten-LLM-Frameworks ermöglicht, zwischengespeicherte Prompt-Präfixe zu teilen. In Tests mit GPT-4o-mini wurden dadurch Cache-Trefferquoten von bis zu 76 % erreicht und die Inferenzzeit mehr als halbiert.
Einseitige Chatbot-Oberfläche für lokal laufendes Gemma 4 26B A4B
Ein Entwickler hat einen Chatbot auf einer einzelnen HTML-Seite erstellt, der mit lokal laufendem Gemma 4 26B A4B verbunden ist und einen 32K-Kontextfenster mit 50-65 Token/Sekunde nutzt, aufgeteilt zwischen einer 7900 XT und einer 3060 Ti GPU. Die Oberfläche bietet vollständiges Streaming, Markdown-Rendering und Parametersteuerungen.