Entendimiento de Media en OpenClaw: Procesa Imágenes, Audio y Video

Seguro que te ha pasado: tu bot recibe un audio de tres minutos o una imagen pesada y el flujo se vuelve lento o falla porque el modelo no sabe qué hacer con tanta información de golpe. Procesar archivos multimedia directamente puede disparar la latencia y los costos si solo necesitas un resumen rápido para decidir cómo rutear la petición.

OpenClaw soluciona esto analizando la media entrante antes de que corra el pipeline principal. Esto te permite obtener descripciones de imágenes o transcripciones de audio que el modelo puede usar para entender comandos de forma más ágil.

Requisitos previos

Para usar estas funciones, asegúrate de tener:

• Una instancia de OpenClaw funcionando.
• API keys de proveedores compatibles (OpenAI, Anthropic, Google, Groq o Deepgram).
• Herramientas de CLI locales (opcional, como whisper-cli o gemini).

Inicio rápido

OpenClaw detecta automáticamente si tienes herramientas locales o API keys configuradas. Si no tocas nada, intentará procesar la media por su cuenta. Para tomar el control, añade la configuración en tools.media.

Aquí tienes una configuración recomendada que usa un mix de proveedores y CLI para tener redundancia:

{
  tools: {
    media: {
      models: [
        { provider: "openai", model: "gpt-5.2", capabilities: ["image"] },
        {
          provider: "google",
          model: "gemini-3-flash-preview",
          capabilities: ["image", "audio", "video"],
        },
        {
          type: "cli",
          command: "gemini",
          args: [
            "-m",
            "gemini-3-flash",
            "--allowed-tools",
            "read_file",
            "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters.",
          ],
          capabilities: ["image", "video"],
        },
      ],
      audio: {
        attachments: { mode: "all", maxAttachments: 2 },
      },
      video: {
        maxChars: 500,
      },
    },
  },
}

Si prefieres desactivar el auto-discovery para una capacidad específica (por ejemplo, audio), usa esto:

{
  tools: {
    media: {
      audio: {
        enabled: false,
      },
    },
  },
}

Comportamiento del sistema

1. OpenClaw detecta los archivos en MediaPaths o MediaUrls.
2. Selecciona el primer modelo compatible según el tamaño del archivo (maxBytes) y tus API keys.
3. Si el primer modelo falla, salta al siguiente en la lista de models.
4. Al terminar, el texto extraído se añade al cuerpo del mensaje como un bloque [Image], [Audio] o [Video].

Solución de problemas

• El archivo es ignorado: Revisa el límite de maxBytes. Por defecto es 10MB para imágenes, 20MB para audio y 50MB para video. Si el archivo se pasa, OpenClaw saltará al siguiente modelo o ignorará el procesamiento.
• La descripción es muy larga: El sistema recorta el texto si supera maxChars (500 por defecto en imagen/video).
• Fallo en CLI: Asegúrate de que los binarios estén en tu PATH. En Windows, Linux o macOS, la detección es “best-effort”. Si falla, define la ruta completa en el campo command.
• Error en el entendimiento: Si el proceso de media falla, no te preocupes; el flujo de respuesta continúa con los archivos originales adjuntos.

AI Setup Assistant

Próximos pasos

• Configuration
• Image & Media Support