Firecrawl für Web-Extraction nutzen

Du willst Daten von einer Website ziehen, aber ein einfacher HTTP-Fetch scheitert. Oft liegt das an JavaScript-lastigen Seiten oder Systemen, die automatisierte Zugriffe blockieren. Das ist frustrierend, wenn du eigentlich nur sauberen Content für deine Anwendung brauchst.

Voraussetzungen

• Firecrawl Account und API Key
• Zugriff auf die Konfiguration oder die Gateway Umgebung

Schnellstart

Erstelle zuerst einen Firecrawl Account und generiere einen API Key. Diesen Key speicherst du direkt in deiner Konfiguration oder setzt die Umgebungsvariable FIRECRAWL_API_KEY im Gateway.

Hier ist das JSON5-Beispiel für deine Konfiguration:

{
  tools: {
    web: {
      fetch: {
        firecrawl: {
          apiKey: "FIRECRAWL_API_KEY_HERE",
          baseUrl: "https://api.firecrawl.dev",
          onlyMainContent: true,
          maxAgeMs: 172800000,
          timeoutSeconds: 60,
        },
      },
    },
  },
}

OpenClaw setzt firecrawl.enabled automatisch auf true, sobald ein API Key vorhanden ist. Der Parameter maxAgeMs legt fest, wie lange Ergebnisse im Cache bleiben; der Standardwert liegt bei 2 Tagen (172.800.000 ms). Bei jeder Anfrage nutzt OpenClaw automatisch proxy: "auto" und storeInCache: true.

Fehlerbehebung

Hoher Credit-Verbrauch OpenClaw erzwingt den Modus proxy: "auto". Wenn ein einfacher Zugriff scheitert, versucht Firecrawl es automatisch mit Stealth-Proxys erneut. Das hilft effektiv gegen Blockaden, verbraucht aber unter Umständen mehr Credits als Standard-Anfragen.

Reihenfolge der Extraktion prüfen Falls die Ergebnisse nicht wie erwartet erscheinen, liegt das an der internen Priorisierung von web_fetch. Das System arbeitet diese Schritte nacheinander ab:

1. Lokale Readability-Extraktion
2. Firecrawl-Abfrage (falls konfiguriert)
3. HTML-Cleanup (letzter Fallback)
4. Rückgabe des Inhalts

AI Setup Assistant

Nächste Schritte

• Web tools