KI nutzt Gemma 4 für schnellere Spracheingabe: 44 % weniger Verzögerung, 30 % mehr Nutzung

Cue AI, ein sprachgesteuerter Desktop-Agent, der per Hotkey Diktier- und Agentenaufgaben ausführt, ersetzte seinen cloudbasierten Textveredelungsschritt durch Googles DeepMind Gemma 4 E4B, das lokal über Ollama läuft. Der Wechsel reduzierte die mediane Veredelungslatenz von 876ms auf 488ms – eine Reduzierung um 44% – und brachte die Gesamtzeit (Sprechen, Veredeln, Einfügen) bequem unter 500ms, das Wahrnehmungsbudget für ein Gefühl schnellerer Bedienung als Tippen.

Wichtige Ergebnisse

• Latenz: Der Veredelungsschritt sank median von 876ms auf 488ms (gemessen auf Apple Silicon M-Serie über Ollama, 227 reale Sprachproben inklusive gemischtsprachiger Eingabe).
• Nutzung: Die Diktatnutzung pro Nutzer stieg in den vier Wochen nach der Standardumstellung um etwa 30%. Nutzer, die zuvor kurze Nachrichten diktierten, begannen längere zu diktieren, und die Akzeptanz des Sprachmodus für zeitkritische Arbeiten nahm zu.
• Kosten: Die lokale Ausführung von Gemma 4 E4B trieb die Grenzkosten der Inferenz auf null, sodass unbegrenztes Diktieren im kostenlosen Tarif ohne Obergrenzen oder Bezahlschranken möglich ist.

Funktionsweise

Die Veredelungspipeline ist bewusst einfach: Audio wird über Cloud-STT transkribiert und dann mit einem kompakten System-Prompt von etwa 400 Tokens an Gemma 4 E4B gesendet, der Formatierungsregeln vorgibt – Wiederherstellung von Satzzeichen, Satztrennung, Entfernung von Füllwörtern, Korrektur von Homophonen, Anpassung an das aktive Eingabefeld (z.B. kein Punkt am Ende bei kurzen Befehlen, vollständige Interpunktion bei E-Mails). Der veredelte Text wird über native OS-APIs eingefügt.

Cues Einsatz nutzt das Basismodell mit reiner Prompt-Entwicklung. Der Kontext der aktiven App (Anwendungsname, Feldtyp, Platzhaltertext) wird in den Prompt eingefügt, sodass das Modell weiß, ob der Nutzer eine Slack-Nachricht, eine E-Mail oder einen Terminalbefehl verfasst. Der Cloud-Pfad bleibt als Fallback erhalten: Falls Ollama nicht läuft, leitet Cue die Anfrage nahtlos an ein Cloud-Modell weiter.

Warum Gemma 4 gewann

Das Team plante ursprünglich, Gemma nur als Offline-Fallback zu nutzen, in der Annahme, dass ein größeres Cloud-Modell eine bessere Genauigkeit biete. Benchmarks mit 227 echten Sprachproben zeigten jedoch, dass Gemma 4 E4B die richtige Kapazität hat, um zu formatieren und zu korrigieren, ohne zu stark zu bearbeiten – es bewahrt die natürliche Sprache des Nutzers, anstatt sie in formale Prosa zu glätten. Diese Umkehrung – Gemma lokal als Standard, Cloud als Fallback – ist nun das operative Rückgrat jedes Cue-Diktats.