Media Understanding in OpenClaw: Bilder, Audio und Video automatisch zusammenfassen

Kennst du das Problem? Dein Bot erhält Bilder, lange Sprachnachrichten oder Videos, und du möchtest den Inhalt sofort greifbar haben, bevor die eigentliche Antwort-Pipeline startet. Es ist oft zeitaufwendig und teuer, jedes Mal das komplette Medium an das Hauptmodell zu senden, nur um ein einfaches Routing oder Command Parsing durchzuführen.

Oft fehlt eine einfache Möglichkeit, Medien vorab zu “verdauen”, ohne den Kontext der Originaldatei zu verlieren. Wenn die Analyse fehlschlägt oder das File zu groß ist, soll der Prozess nicht stoppen, sondern nahtlos weiterlaufen.

Voraussetzungen

• Eine laufende OpenClaw-Instanz.
• API Keys für unterstützte Provider (z. B. OpenAI, Anthropic, Google, Groq oder Deepgram).
• Optional: Installierte lokale CLI-Tools wie whisper-cli, gemini oder sherpa-onnx-offline.

Schnellstart

In nur 5 Minuten aktivierst du die automatische Medienanalyse. OpenClaw erkennt standardmäßig vorhandene Provider-Keys oder lokale Tools und nutzt diese als Fallback.

1. Medien-Modelle konfigurieren

Du kannst Modelle global für alle Medientypen definieren oder spezifische Overrides für Bilder, Audio und Video festlegen. Hier ist ein Beispiel für eine gemischte Konfiguration aus Provider-API und lokalem CLI:

{
  tools: {
    media: {
      models: [
        { provider: "openai", model: "gpt-5.2", capabilities: ["image"] },
        {
          provider: "google",
          model: "gemini-3-flash-preview",
          capabilities: ["image", "audio", "video"],
        },
        {
          type: "cli",
          command: "gemini",
          args: [
            "-m",
            "gemini-3-flash",
            "--allowed-tools",
            "read_file",
            "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters.",
          ],
          capabilities: ["image", "video"],
        },
      ],
      audio: {
        attachments: { mode: "all", maxAttachments: 2 },
      },
      video: {
        maxChars: 500,
      },
    },
  },
}

2. Status prüfen

Sobald die Analyse läuft, kannst du das Ergebnis über den /status Command einsehen. Du erhältst eine kurze Zusammenfassung:

📎 Media: image ok (openai/gpt-5.2) · audio skipped (maxBytes)

3. Auto-Detection nutzen

Wenn du keine Modelle explizit konfigurierst, versucht OpenClaw automatisch, installierte Tools in dieser Reihenfolge zu finden:

• Audio: Lokale CLIs (whisper, sherpa-onnx), dann Provider (OpenAI, Groq, Deepgram, Google).
• Image: OpenAI, Anthropic, Google, MiniMax.
• Video: Google (Gemini API).

Fehlerbehebung

• Medium wird übersprungen: Wenn eine Datei das Limit von maxBytes überschreitet, wird das aktuelle Modell übersprungen und das nächste in der Liste probiert. Prüfe deine maxBytes Werte (Standard: Image 10MB, Audio 20MB, Video 50MB).
• CLI-Tool nicht gefunden: Stelle sicher, dass das Tool in deinem PATH liegt. OpenClaw löst ~ Pfade auf. Alternativ kannst du den absoluten Pfad im command Feld angeben.
• Modell-Fehler: Wenn die Analyse fehlschlägt, bricht OpenClaw nicht ab. Der Reply-Flow läuft einfach mit dem originalen Body und den Attachments weiter.
• Output wird abgeschnitten: Wenn das Modell mehr Text zurückgibt als in maxChars definiert, wird die Ausgabe gekürzt.

Du hast Fragen zur Einrichtung oder brauchst Hilfe bei speziellen Providern? Nutze den AI Setup Assistant.

Nächste Schritte

• Configuration
• Image & Media Support