Voice Wake & Push-to-Talk Guide

Kennst du das? Du willst schnell einen Befehl per Sprache geben, aber das System reagiert entweder gar nicht oder bricht mitten im Satz ab. Nichts unterbricht den Workflow mehr als eine Spracherkennung, die nicht zuverlässig startet oder hängen bleibt, wenn du das Fenster manuell schließt.

Damit die Interaktion natürlich wirkt, kombinieren wir einen Wake-word-Modus mit einer direkten Push-to-Talk-Option. So entscheidest du selbst, ob die App immer zuhören soll oder nur dann reagiert, wenn du explizit eine Taste drückst.

Voraussetzungen

Bevor du startest, stelle sicher, dass folgende Voraussetzungen erfüllt sind:

• Berechtigungen: Zugriff auf Mikrofon und Speech (Spracherkennung).
• System-Zugriff: Accessibility/Input Monitoring Genehmigung (erforderlich für die Hotkey-Erkennung).
• Betriebssystem: Für die “Cmd+Fn”-Option ist macOS Version 26 oder höher erforderlich.

Schnellstart

In weniger als fünf Minuten ist dein Setup einsatzbereit. Folge diesen Schritten:

1. Aktiviere den Voice Wake Toggle in den Einstellungen, um die Wake-word-Runtime zu starten.
2. Aktiviere die Option Hold Cmd+Fn to talk für Push-to-Talk.
3. Teste die Funktion: Halte Cmd+Fn gedrückt, sprich deinen Text und lass die Tasten los.
4. Das Overlay zeigt dir den erkannten Text in Echtzeit an und sendet ihn nach dem Loslassen automatisch.

Funktionsweise und Runtime

Wake-word Modus

Standardmäßig wartet der Speech recognizer in der VoiceWakeRuntime auf Trigger-Tokens (swabbleTriggerWords). Ein wichtiger technischer Aspekt: Der Trigger feuert erst, wenn nach dem Wake-word eine deutliche Pause von etwa 0,55 Sekunden folgt.

Das System nutzt zwei verschiedene Silence-Fenster:

• 2,0 Sekunden, wenn du flüssig sprichst.
• 5,0 Sekunden, falls nur das Wake-word erkannt wurde, aber noch kein Befehl folgte.

Um endlose Sessions zu vermeiden, gibt es einen Hard stop nach 120 Sekunden.

Push-to-Talk (PTT)

Wenn du die rechte Option-Taste (keyCode 61) oder Cmd+Fn hältst, wird die VoicePushToTalk Pipeline aktiv. In diesem Moment pausiert die Wake-word-Runtime automatisch, damit es nicht zu Konflikten beim Audio-Zugriff kommt. Sobald du die Taste loslässt, wird der Text über den VoiceWakeForwarder an den aktiven Gateway oder Agent gesendet.

Audio und Feedback

Standardmäßig nutzt die App den macOS “Glass” Sound als akustisches Feedback beim Erkennen des Triggers und beim Senden. Du kannst in den Einstellungen aber jede NSSound-kompatible Datei (MP3, WAV, AIFF) wählen oder die Töne komplett deaktivieren.

Fehlerbehebung

Falls es hakt, liegen meistens diese Probleme vor:

• Overlay friert ein: Früher konnte ein hängendes Overlay die Runtime blockieren. Jetzt triggert das manuelle Schließen über den “X”-Button via VoiceSessionCoordinator einen VoiceWakeRuntime.refresh(...), was den Recognizer sofort wieder in den Listening-Modus versetzt.
• Hotkey wird nicht erkannt: Manche externen Keyboards senden das Signal für die rechte Option-Taste nicht wie erwartet. Nutze in diesem Fall den Fallback-Shortcut in den Einstellungen.
• Zustellung fehlgeschlagen: Wenn ein Transkript nicht beim Provider (WhatsApp, Discord etc.) ankommt, wird der Fehler geloggt. Du kannst die Sitzung dann trotzdem noch über den WebChat oder die Session-Logs einsehen.
• Mikrofon verloren: Wenn dein ausgewähltes Mikrofon getrennt wird, zeigt der Mic picker einen Hinweis. Das System nutzt dann temporär den Standard-Input, bis dein Gerät wieder verfügbar ist.

Erlebe die Sprachsteuerung direkt in Aktion. Bei weiteren Fragen hilft dir der AI Setup Assistant jederzeit weiter.

Nächste Schritte

• Gateway & Agent Setup: Erfahre mehr über die Weiterleitung von Transkripten.
• Custom Trigger Words: So konfigurierst du deine eigenen swabbleTriggerWords.
• Audio-Konfiguration: Details zum Mic picker und den Sound-Profilen.