Erstellen eines lokalen Sprach-KI-Assistenten mit SwiftUI und CSM-1B auf Apple Silicon

Ein Entwickler hat sein Nebenprojekt mobiGlas vorgestellt, eine SwiftUI-App, die einen OpenClaw KI-Assistenten in einen freihändigen Sprachbegleiter verwandelt. Die App läuft vollständig auf Apple Silicon mit lokaler Sprach-zu-Text-Umwandlung, lokalem LLM und lokaler Sprachklonung mittels CSM-1B – ohne Cloud-Abhängigkeiten.

Wichtige Details

• Auslöser: Sage „Hey Skippy“ in die AirPods, um ein Gespräch zu starten.
• Stimme: Nutzt das CSM-1B Sprachklonmodell, das lokal auf einem M2 Ultra läuft. Generiert ~15 Sekunden Audio in etwa 7 Sekunden.
• Technologie-Stack:
  • OpenClaw – KI-Assistenten-Framework, läuft auf dem Mac
  • mobiGlas – SwiftUI-App mit Echtzeit-Spracherkennung und Sprachsynthese
  • CSM-1B – Lokales Sprachklonmodell
  • AirPods – Freihändige Audio-Ein- und Ausgabe
• Status: v0.1 (beschrieben als „ruckelig, aber funktional“). Das Gefühl, herumzulaufen und ein Gespräch mit KI zu führen, wird als „wirklich verrückt“ beschrieben.
• Stimmbeispiel: Der Entwickler hat die Stimme von R.C. Bray (Erzähler von Expeditionary Force) für den Assistenten „Skippy“ geklont.

Nächste Schritte

Der Entwickler plant, die Erfahrung für alltägliche Anwendungsfälle wie Nachrichtenübersichten, Erinnerungen und das laute Durchdenken von Ideen zu optimieren.

Wenn du mit lokaler Sprach-KI auf Apple Silicon experimentierst, sucht der Entwickler den Austausch von Erfahrungen.