Spicrawl funktioniert jetzt mit dem OpenAI Agents SDK, LangChain, Codex, Claude Code und mehr.Integrationen ansehen
Zum Inhalt springen

Web Scraping in Windsurf

Windsurf heißt jetzt Devin Desktop. Füge den Spicrawl-MCP-Server hinzu, und sein Agent kann Webseiten als sauberes Markdown lesen.

Einrichten

Devin Desktop hat zwei Agenten. Devin Local ist der Standard für neue Tabs. Cascade ist der Legacy-Agent. Sie lesen MCP-Server aus unterschiedlichen Dateien, richte also den ein, den du nutzt.

  1. Setze deinen API-Schlüssel in der Umgebung, aus der Devin Desktop startet:

    bash
    export SPICRAWL_API_KEY=spicrawl_live_...   # add to your shell profile, then restart Devin Desktop
  2. Devin Local: Füge den Server im lokalen Scope hinzu. Er wird in .devin/mcp_config.local.json gespeichert, das Devin per gitignore ausschließt. Prüfe es mit devin mcp list.

    bash
    devin mcp add spicrawl https://mcp.spicrawl.com/mcp -H "Authorization: Bearer $SPICRAWL_API_KEY"

    Nutze nicht -s project. Es schreibt die gemeinsame, committete Datei mit deinem Schlüssel darin.

  3. Cascade: Öffne das Cascade-Panel, klicke auf das Menü ... und öffne die MCP-Konfigurationsdatei. Füge den Server hinzu. Cascade trägt den Schlüssel ein, die Datei enthält also keinen:

    ~/.config/devin/mcp_config.json
    {
      "mcpServers": {
        "spicrawl": {
          "serverUrl": "https://mcp.spicrawl.com/mcp",
          "headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
        }
      }
    }

    Cascade erlaubt 100 Tools über alle Server hinweg. Spicrawl nutzt 25 davon.

  4. Installiere den Skill:

    bash
    spicrawl skill install --client codex
    
    # Without the CLI:
    mkdir -p .agents/skills/spicrawl
    curl -fsSL https://app.spicrawl.com/skill.md -o .agents/skills/spicrawl/SKILL.md
  5. Speichere diese Regel als .devin/rules/spicrawl.md (.windsurf/rules/ funktioniert weiterhin). Der Agent liest sie, wenn eine Aufgabe Webdaten betrifft.

    .devin/rules/spicrawl.md
    ---
    trigger: model_decision
    description: Fetching, scraping or extracting data from web pages with Spicrawl
    ---
    
    # Web data (Spicrawl)
    
    Use Spicrawl to read web pages: the spicrawl_* MCP tools in chat, or
    POST https://api.spicrawl.com/v1/scrape with `Authorization: Bearer $SPICRAWL_API_KEY` in code.
    Docs: https://docs.spicrawl.com/llms.txt (append .md to any page URL for Markdown).
    
    - Ask for markdown: `response_format: "markdown"` (API default is html); on spicrawl_scrape, `format: "markdown"`.
    - Check the site's status, not only the HTTP status: `X-Target-Status` header, or `status`
      in the JSON envelope (spicrawl_scrape with `format: "json"`). 200 is the page; 404/410
      mean it does not exist; 403/429/503 mean the site refused, so escalate.
    - On an error, switch on `code`. Retry only when `retryable` is true, after
      `retry_after_seconds`. Read `diagnostics.hint` and change what it names first.
      Never retry ERR::REQUEST::*, ERR::AUTH::* or ERR::LIMIT::QUOTA_EXCEEDED.
    - Escalate one step at a time and stop at the first that works:
      plain fetch (1 credit) -> `js_render: true` (3) -> add the user's own `proxy`
      if they have one. Empty or skeleton content means render; ERR::UPSTREAM::CHALLENGE
      or a 403 target status means retry once, then the user's own proxy.
    - Set `max_cost` on every request to the price of the step you intend.
    - Keep the cache on (default). Set `cache: false` only for prices, stock or other live data.
    - Trim tokens with `main_content_only` (on by default for markdown), `include_tags`, `exclude_tags`.
    - For more than 20 URLs, use a batch job (spicrawl_batch_submit / POST /v1/batch).
      Batch items return html, markdown or text (spicrawl_batch_submit defaults to markdown,
      POST /v1/batch to html). Extraction, screenshots, actions and sessions are refused
      with a 400 before anything is charged: scrape those URLs one by one.
    - Never print or commit SPICRAWL_API_KEY. Log `X-Request-Id` for failures.

Eine erste Aufgabe zum Ausprobieren

Öffne einen neuen Agent-Tab und frage:

Prompt
Use Spicrawl to read https://example.com/pricing as markdown. List each plan with its monthly price.
If the page comes back empty, retry with rendering.

Der Agent sollte spicrawl_scrape mit format: "markdown" aufrufen. Er sollte render: true nur hinzufügen, wenn das erste Ergebnis leer ist.

Was es kann

Der Server gibt dem Agenten 25 spicrawl_*-Tools. Jeder Aufruf läuft unter deinem API-Schlüssel, mit denselben Limits und Credits wie ein direkter API-Aufruf.

  • Eine Seite lesen: spicrawl_scrape liefert Markdown (Standard), Text, HTML, JSON oder PDF.
  • Viele Seiten lesen: spicrawl_batch_submit stellt bis zu 10.000 URLs in die Warteschlange. Danach folgen spicrawl_batch_status und spicrawl_batch_results.
  • Seiten hinter einem Login: spicrawl_session_create behält Cookies und Storage über Aufrufe hinweg.
  • Einen Fehler debuggen: spicrawl_requests_list und spicrawl_request_get.
  • Nutzung prüfen: spicrawl_usage_summary und die anderen Nutzungs-Tools. Dafür brauchst du einen Schlüssel mit dem Scope read.
  • Dinge nachschlagen: spicrawl_docs_search und spicrawl_docs_read durchsuchen und lesen die Spicrawl-Docs.

Ein Tool, spicrawl_browser_connect_url, ist aufgeführt, kommt aber bald. Bei spicrawl_scrape heißt das Rendering-Argument render, nicht js_render wie bei der API.

Gut zu wissen

  • Kein Crawling. Spicrawl folgt keinen Links und findet keine Seiten. Gib dem Agenten die URLs.
  • Credits pro Anfrage. Ein einfacher Abruf kostet 1 Credit. JavaScript-Rendering kostet 3. Rendering im vollen Browser kostet 8.
  • Fehler sind kostenlos. Eine fehlgeschlagene Anfrage kostet 0 Credits.
  • Der Cache spart Zeit, keine Credits. Ein Cache-Treffer kostet genauso viel wie der Abruf, der ihn gespeichert hat.
  • Begrenze jeden Aufruf. Setze max_cost, und eine Anfrage, die mehr kosten könnte, wird abgelehnt, bevor sie läuft.
  • Kommt bald: verwaltete Proxys, Stealth-Modus, ein Remote-Browser und KI-Extraktion aus einem Prompt in einfacher Sprache. Heute kannst du deinen eigenen Proxy mitbringen.

Häufig gestellte Fragen

Ist Windsurf dasselbe wie Devin Desktop?

Ja. Windsurf wurde am 2026-06-02 in Devin Desktop umbenannt. Es ist derselbe Editor, und diese Schritte funktionieren für beide Namen.

Welchen Agenten soll ich einrichten, Devin Local oder Cascade?

Devin Local ist der Standard-Agent für neue Tabs. Cascade ist der Legacy-Agent. Sie lesen MCP-Server aus unterschiedlichen Dateien, richte also den ein, den du nutzt.

Zählt Spicrawl zum Tool-Limit von Cascade?

Ja. Cascade erlaubt 100 Tools über alle Server hinweg, und Spicrawl nutzt 25. Deaktiviere andere Server, wenn du nah am Limit bist.

Mein Team blockiert den Server. Was soll ich tun?

Eine Team-Allowlist ist aktiv. Bitte den Admin, die Server-ID spicrawl (Groß-/Kleinschreibung beachten) freizugeben.

Was kostet jede Seite?

Ein einfacher Abruf kostet 1 Credit, JavaScript-Rendering 3 und Rendering im vollen Browser 8. Fehlgeschlagene Anfragen kosten 0. Ein Cache-Treffer kostet so viel wie der Abruf, der ihn gespeichert hat. Lass den Agenten bei jeder Anfrage max_cost setzen, damit er nie mehr ausgibt als erwartet.