Configura Firecrawl como extractor en OpenClaw

Extraer datos de la web puede ser un dolor de cabeza. A veces te encuentras con sitios que bloquean peticiones simples o que dependen demasiado de JavaScript para mostrar su contenido. Es frustrante ver cómo tus procesos fallan cuando el contenido parece estar ahí mismo, pero tu herramienta no logra obtenerlo.

Para estos casos, te recomiendo usar Firecrawl. Es un servicio externo que OpenClaw utiliza como extractor de respaldo en web_fetch. Es ideal para manejar sitios complejos porque soporta la evasión de bots y almacenamiento en caché.

Requisitos previos

• Una cuenta activa en Firecrawl.
• Una API key generada en su panel.
• Acceso a la configuración de tu Gateway.
• Variables de entorno configuradas.

Inicio rápido

Configurar Firecrawl en OpenClaw te tomará menos de 5 minutos. Sigue estos pasos para activar el servicio:

1. Obtén tu API key: Crea tu cuenta en Firecrawl y genera una clave.
2. Configura el Gateway: Añade tu clave a la configuración o define la variable de entorno FIRECRAWL_API_KEY.

Usa este bloque de código en tu configuración:

{
  tools: {
    web: {
      fetch: {
        firecrawl: {
          apiKey: "FIRECRAWL_API_KEY_HERE",
          baseUrl: "https://api.firecrawl.dev",
          onlyMainContent: true,
          maxAgeMs: 172800000,
          timeoutSeconds: 60,
        },
      },
    },
  },
}

Ten en cuenta que firecrawl.enabled se activa automáticamente al detectar una API key. Además, el parámetro maxAgeMs define cuánto tiempo se consideran válidos los resultados en caché; por defecto son 2 días (172,800,000 ms).

Cómo funciona la extracción

Cuando ejecutas web_fetch, OpenClaw sigue un orden específico para obtener el contenido. Primero intenta usar Readability de forma local. Si Firecrawl está configurado, lo usa como segunda opción. Como último recurso, aplica una limpieza básica de HTML.

En cuanto a la evasión de bots, OpenClaw siempre utiliza proxy: "auto" y storeInCache: true. Esto significa que si un intento básico falla, Firecrawl reintentará la petición usando proxies de tipo stealth de forma automática.

Solución de problemas

• Consumo elevado de créditos: Al usar proxy: "auto", Firecrawl realiza reintentos con proxies avanzados si el método básico falla. Esto puede gastar más créditos de tu cuenta que una extracción simple.
• Resultados antiguos: Si recibes contenido desactualizado, revisa el valor de maxAgeMs. Si los datos en caché son más recientes que ese tiempo, Firecrawl no hará una nueva petición al sitio original.

¿Necesitas ayuda con la configuración? Prueba el AI Setup Assistant.

Próximos pasos

• Web tools