Web Scraping in Gemini CLI
Füge den Spicrawl-MCP-Server zu Gemini CLI hinzu. Er kann dann Webseiten als sauberes Markdown lesen.
Einrichten
spicrawl init unterstützt Gemini CLI nicht, folge also diesen Schritten.
Setze deinen Schlüssel und kopiere ihn dann unter einen zweiten Namen:
bashexport SPICRAWL_API_KEY=spicrawl_live_... # add to your shell profile export SPICRAWL_MCP_BEARER="$SPICRAWL_API_KEY"Gemini CLI entfernt Variablen mit
KEY,TOKEN,AUTHund ähnlichen Wörtern im Namen, bevor es Header ausfüllt.$SPICRAWL_API_KEYwäre also leer, und der Server würde mit 401 antworten.Füge den Server zu
~/.gemini/settings.jsonhinzu (oder zu.gemini/settings.jsonfür ein Projekt). NutzehttpUrl, nichturl:~/.gemini/settings.json{ "mcpServers": { "spicrawl": { "httpUrl": "https://mcp.spicrawl.com/mcp", "headers": { "Authorization": "Bearer $SPICRAWL_MCP_BEARER" } } } }Oder füge denselben Eintrag über die Kommandozeile hinzu. Die einfachen Anführungszeichen belassen den Variablenverweis in der Datei:
bashgemini mcp add --scope user --transport http \ --header 'Authorization: Bearer $SPICRAWL_MCP_BEARER' \ spicrawl https://mcp.spicrawl.com/mcpInstalliere den Skill und führe dann
/skills reloadin einer laufenden Session aus:bashspicrawl skill install --client codex # Without the CLI: mkdir -p .agents/skills/spicrawl curl -fsSL https://app.spicrawl.com/skill.md -o .agents/skills/spicrawl/SKILL.mdFüge diesen Abschnitt in
GEMINI.mdim Projektstamm ein und führe dann/memory reloadaus:GEMINI.md# Web data (Spicrawl) Use Spicrawl to read web pages: the spicrawl_* MCP tools in chat, or POST https://api.spicrawl.com/v1/scrape with `Authorization: Bearer $SPICRAWL_API_KEY` in code. Docs: https://docs.spicrawl.com/llms.txt (append .md to any page URL for Markdown). - Ask for markdown: `response_format: "markdown"` (API default is html); on spicrawl_scrape, `format: "markdown"`. - Check the site's status, not only the HTTP status: `X-Target-Status` header, or `status` in the JSON envelope (spicrawl_scrape with `format: "json"`). 200 is the page; 404/410 mean it does not exist; 403/429/503 mean the site refused, so escalate. - On an error, switch on `code`. Retry only when `retryable` is true, after `retry_after_seconds`. Read `diagnostics.hint` and change what it names first. Never retry ERR::REQUEST::*, ERR::AUTH::* or ERR::LIMIT::QUOTA_EXCEEDED. - Escalate one step at a time and stop at the first that works: plain fetch (1 credit) -> `js_render: true` (3) -> add the user's own `proxy` if they have one. Empty or skeleton content means render; ERR::UPSTREAM::CHALLENGE or a 403 target status means retry once, then the user's own proxy. - Set `max_cost` on every request to the price of the step you intend. - Keep the cache on (default). Set `cache: false` only for prices, stock or other live data. - Trim tokens with `main_content_only` (on by default for markdown), `include_tags`, `exclude_tags`. - For more than 20 URLs, use a batch job (spicrawl_batch_submit / POST /v1/batch). Batch items return html, markdown or text (spicrawl_batch_submit defaults to markdown, POST /v1/batch to html). Extraction, screenshots, actions and sessions are refused with a 400 before anything is charged: scrape those URLs one by one. - Never print or commit SPICRAWL_API_KEY. Log `X-Request-Id` for failures.Starte
geminiund führe/mcpaus.spicrawlsollte mit 25spicrawl_*-Tools verbunden sein.
Eine erste Aufgabe zum Ausprobieren
Starte gemini im Projekt und frage:
Use Spicrawl to read https://example.com/pricing as markdown. List each plan with its monthly price.
If the page comes back empty, retry with rendering.Der Agent sollte spicrawl_scrape mit format: "markdown" aufrufen. Gemini CLI bittet dich, jeden Tool-Aufruf zu bestätigen, außer der Server hat "trust": true.
Was es kann
Der Server gibt dem Agenten 25 spicrawl_*-Tools. Jeder Aufruf läuft unter deinem API-Schlüssel, mit denselben Limits und Credits wie ein direkter API-Aufruf.
- Eine Seite lesen:
spicrawl_scrapeliefert Markdown (Standard), Text, HTML, JSON oder PDF. - Viele Seiten lesen:
spicrawl_batch_submitstellt bis zu 10.000 URLs in die Warteschlange. Danach folgenspicrawl_batch_statusundspicrawl_batch_results. - Seiten hinter einem Login:
spicrawl_session_createbehält Cookies und Storage über Aufrufe hinweg. - Einen Fehler debuggen:
spicrawl_requests_listundspicrawl_request_get. - Nutzung prüfen:
spicrawl_usage_summaryund die anderen Nutzungs-Tools. Dafür brauchst du einen Schlüssel mit dem Scoperead. - Dinge nachschlagen:
spicrawl_docs_searchundspicrawl_docs_readdurchsuchen und lesen die Spicrawl-Docs.
Ein Tool, spicrawl_browser_connect_url, ist aufgeführt, kommt aber bald. Bei spicrawl_scrape heißt das Rendering-Argument render, nicht js_render wie bei der API.
Gut zu wissen
- Kein Crawling. Spicrawl folgt keinen Links und findet keine Seiten. Gib dem Agenten die URLs.
- Credits pro Anfrage. Ein einfacher Abruf kostet 1 Credit. JavaScript-Rendering kostet 3. Rendering im vollen Browser kostet 8.
- Fehler sind kostenlos. Eine fehlgeschlagene Anfrage kostet 0 Credits.
- Der Cache spart Zeit, keine Credits. Ein Cache-Treffer kostet genauso viel wie der Abruf, der ihn gespeichert hat.
- Begrenze jeden Aufruf. Setze
max_cost, und eine Anfrage, die mehr kosten könnte, wird abgelehnt, bevor sie läuft. - Kommt bald: verwaltete Proxys, Stealth-Modus, ein Remote-Browser und KI-Extraktion aus einem Prompt in einfacher Sprache. Heute kannst du deinen eigenen Proxy mitbringen.
Häufig gestellte Fragen
Warum nicht SPICRAWL_API_KEY im Header nutzen?
Gemini CLI entfernt Variablen, deren Namen KEY, TOKEN, AUTH und ähnliche Wörter enthalten, bevor es Header auflöst. $SPICRAWL_API_KEY wäre leer, und der Server würde mit 401 antworten. Nutze SPICRAWL_MCP_BEARER.
Unterstützt spicrawl init Gemini CLI?
Nein. Folge den manuellen Schritten auf dieser Seite.
Soll ich url oder httpUrl nutzen?
Nutze httpUrl. In Gemini CLI bedeutet url SSE, und der Spicrawl-Server nutzt Streamable HTTP.
Gibt es eine Spicrawl-Erweiterung für Gemini CLI?
Nein. Es ist keine Spicrawl-Erweiterung veröffentlicht, nutze also den Eintrag in den Einstellungen.
Was kostet jede Seite?
Ein einfacher Abruf kostet 1 Credit, JavaScript-Rendering 3 und Rendering im vollen Browser 8. Fehlgeschlagene Anfragen kosten 0. Ein Cache-Treffer kostet so viel wie der Abruf, der ihn gespeichert hat. Lass den Agenten bei jeder Anfrage max_cost setzen, damit er nie mehr ausgibt als erwartet.