iOS App (Node) Integration

Es ist oft frustrierend, wenn man mobile Features oder Sensoren testen möchte, aber die Verbindung zwischen dem Smartphone und der lokalen Entwicklungsumgebung ständig abbricht. Meistens verbringt man mehr Zeit mit der Netzwerkkonfiguration als mit dem eigentlichen Code, weil die Geräte sich im LAN einfach nicht finden wollen.

Wenn du mobile Funktionen wie die Kamera, Location-Daten oder ein Canvas direkt in dein Setup integrieren willst, ist die iOS App als Node die beste Lösung. Sie verbindet dein iPhone oder iPad direkt mit deinem Gateway und macht die Hardware-Features über einfache Befehle zugänglich.

Voraussetzungen

• Ein Gateway, das auf einem anderen Gerät läuft (macOS, Linux oder Windows via WSL2).
• Einen stabilen Netzwerkpfad (LAN via Bonjour, Tailnet via unicast DNS-SD oder eine manuelle Host/Port-Konfiguration).

Schnellstart

In weniger als 5 Minuten ist dein iOS-Gerät einsatzbereit:

1. Gateway starten: Starte das Gateway auf deinem Host-Rechner:

   openclaw gateway --port 18789

2. Verbindung herstellen: Öffne die iOS App, gehe in die Settings und wähle ein erkanntes Gateway aus. Falls es nicht erscheint, aktiviere Manual Host und gib die IP sowie den Port ein.

3. Pairing bestätigen: Genehmige die Anfrage auf deinem Gateway-Host:

   openclaw nodes pending
   openclaw nodes approve <requestId>

4. Status prüfen: Test die Verbindung mit diesen Befehlen:

   openclaw nodes status
   openclaw gateway call node.list --params "{}"

Canvas + A2UI nutzen

Der iOS Node nutzt eine WKWebView für das Canvas. Du kannst es mit node.invoke steuern:

openclaw nodes invoke --node "iOS Node" --command canvas.navigate --params '{"url":"http://<gateway-host>:18793/__openclaw__/canvas/"}'

Mit canvas.eval kannst du JavaScript direkt auf dem Gerät ausführen:

openclaw nodes invoke --node "iOS Node" --command canvas.eval --params '{"javaScript":"(() => { const {ctx} = window.__openclaw; ctx.clearRect(0,0,innerWidth,innerHeight); ctx.lineWidth=6; ctx.strokeStyle=\"#ff2d55\"; ctx.beginPath(); ctx.moveTo(40,40); ctx.lineTo(innerWidth-40, innerHeight-40); ctx.stroke(); return \"ok\"; })()"}'

Für einen Screenshot des aktuellen Canvas nutzt du diesen Befehl:

openclaw nodes invoke --node "iOS Node" --command canvas.snapshot --params '{"maxWidth":900,"format":"jpeg"}'

Fehlerbehebung

• NODE_BACKGROUND_UNAVAILABLE: Die iOS App muss im Vordergrund sein. Befehle für Canvas, Kamera oder Screen funktionieren nicht im Hintergrund.
• A2UI_HOST_NOT_CONFIGURED: Das Gateway hat keine Canvas-Host-URL gesendet. Prüfe die canvasHost Einstellung in deiner Gateway configuration.
• Pairing-Prompt erscheint nicht: Nutze openclaw nodes pending, um die Anfrage manuell zu finden und zu bestätigen.
• Reconnect schlägt fehl: Wenn du die App neu installiert hast, wurde der Token im Keychain gelöscht. Du musst den Node erneut pairen.

Hast du Fragen zur Einrichtung? Nutze den AI Setup Assistant.

Nächste Schritte

• Pairing
• Discovery
• Bonjour