Spicrawl funktioniert jetzt mit dem OpenAI Agents SDK, LangChain, Codex, Claude Code und mehr.Integrationen ansehen
Zum Inhalt springen

Live-Weltdaten für Agenten

Schalte Weltdaten für deine Agenten/Systeme frei und baue bessere Produkte.

Registrieren(kostenlos während der Beta)
Probier:

Probiere es kostenlos: jede öffentliche Seite als sauberes Markdown, ohne Anmeldung.

Alles, was die Web-Scraping-API von Spicrawl kann

Markdown- und JSON-Ausgabe, JavaScript-Rendering, Cloudflare- und Anti-Bot-Behandlung, Browser-Aktionen, Sessions, Batch-Jobs mit bis zu 10.000 URLs, strukturierte Extraktion, Netzwerk-Erfassung, Screenshots und PDFs sowie Caching. Jedes davon ist ein Parameter derselben API und auch über die CLI und den MCP-Server verfügbar.

3/3Geliefert, für diese Stufe berechnet

Einfach, JavaScript oder voller Browser

  • 1, 3 oder 8 Credits je nach Stufe. mode: auto beginnt günstig und steigt nur bei Bedarf.
  • Du zahlst für die Stufe, die bedient hat. Fehler kosten 0.
  • js_render
  • Modus
  • wait_for
render.sh
curl https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com/products",    "js_render": true,    "wait_for": ".product-card",    "response_format": "json"  }'

spicrawl scrape <url> --render

Leitfaden lesen

API-Docs ansehen

Probiere es an einer Seite aus, die du heute scrapst

Ein API-Schlüssel, 1.000 kostenlose Credits im Monat, keine Kreditkarte.

Up to 97% fewer tokens than raw HTML

Menus, scripts and ads are stripped before the page reaches your model, so the same facts take a fraction of the context. Raw HTML on the left, Spicrawl Markdown on the right.

Spicrawl-Docs-Seite
−97%12.480 Tokens
GitHub README
−94%12.480 Tokens
Wikipedia-Artikel
−76%12.480 Tokens
So haben wir gemessen

Miss die Einsparung an deinen eigenen URLs

Führe dieselben Seiten auf beide Arten aus und vergleiche die Token-Zahlen.

Two ways in: ask your agent, or call the API

Describe the page in plain words, or send one POST request. Both return the same clean output.

  1. Frag einfach deine KI

    Einmal verbinden, dann in einfachen Worten fragen. Kein Code zu schreiben.

    In Claude Code einrichten
  2. Die API aufrufen

    Ein POST liefert Markdown, JSON oder HTML. Batch mit bis zu 10.000 URLs.

    API-Docs lesen

Verbinde deinen KI-Agenten mit Spicrawl MCP

Ein gehosteter MCP-Server: Scrape, Batch, Sessions und Browser-Aktionen, ohne Glue-Code.

MCP-Endpunkt: https://mcp.spicrawl.com/mcp

  • Scrapen
  • Batch-Jobs
  • Sessions
  • Aktionen
  • Anfrageverlauf
  • Nutzung
  • Docs
Claude Code scrapt eine Seite

Bist du ein KI-Agent?

Hole den Skill und fang an zu scrapen.

$curl -s https://docs.spicrawl.com/skill.md

Skill ansehen llms.txt

Funktioniert mit den Tools, die du schon nutzt

Gib deinem Agenten das Web mit einem Prompt

Funktioniert mit Claude Code, Cursor, Codex und jedem MCP-Client.

Get Markdown, JSON or structured data from one request

Pick the format your next step needs: Markdown for a prompt, JSON for your app, a screenshot or PDF for a record.

example.com/product/1
Lerne Model X kennen — Präzision bei jedem Klick
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00Auf Lager★ 4.6 (1,284)
Empfänger mit niedriger Latenz (2.4 GHz), 70 Tage Akkulaufzeit und leise Schalter.
SpezifikationWert
Verbindung2.4 GHz, BT5Akku70 Tage
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · Auf Lager · 4.6 (1,284 Bewertungen)Low-latency 2.4 GHz receiver, 70-day battery lifeund stille Schalter.| Spec      | Value        || --------- | ------------ || Verbindung| 2.4 GHz, BT5 || Akku      | 70 Tage      |
Die Seite lesen
Rohes HTML12.480 Tokens
Markdown0 Tokens

Menüs, Footer und Werbung entfernt: 3 % bis 24 % der Tokens des rohen HTML. Beispielseite.

Jede Website in Markdown für LLMs umwandeln

Scrape JavaScript sites, logins and dynamic pages

Start with a plain fetch. Spicrawl moves up to a real browser only when the page needs one. Keep a session to stay logged in, or bring your own proxy.

Spicrawl-Control-Panel
Automatische Eskalation
Browser
Fingerprint
Proxy
Verwaltete Proxys: kommen bald
Session
Aktionen
Assets blockieren
Netzwerk-Erfassung
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "mode": "auto",  "cache": true,  "response_format": "markdown"}
Beispiel für Response-Header
X-Target-Status
200
X-Engine
fetch
X-Proxy-Source
direkt
Cache-State
Treffer
X-Credits-Charged
1
Automatische Eskalation

Beginnt mit einer einfachen Anfrage und geht nur dann zu einem Browser über, wenn die Website sie blockiert. Blockierte Anfragen kosten nichts.

Nur ein Beispiel, keine Live-Anfrage. Die Beta ist kostenlos.

Test in the dashboard, then ship with the API or CLI

Try a URL, copy the request, and run it from your code or your terminal.

CLI

Scrape eine URL, Tausende im Batch und verwalte Sessions im Terminal.

CLI-Docs lesen

Dashboard

Teste Anfragen, lies Logs und Nutzung und verwalte API-Schlüssel.

Dashboard öffnen

Docs

Leitfäden, die API-Referenz und eine OpenAPI-Spezifikation für deine Tools.

Docs lesen

Try what people build with Spicrawl

Small working tools, each built on the Spicrawl API.

  1. change-monitor.spicrawl.com

    Change Monitor

    Prüfe eine Seite erneut und sieh, was sich geändert hat.

    Live ausprobieren
  2. price-tracker.spicrawl.com

    Preis-Tracker

    Füge einen Produktlink ein, erhalte den Preis.

    Live ausprobieren
  3. docs2skill.spicrawl.com

    Docs → Skill

    Mach aus einer Docs-Seite einen Agent-Skill.

    Live ausprobieren

What you can build with a web scraping API

Each job links to a guide in the docs, with working code.

  1. 01

    LLMs und RAG-Pipelines füttern

    Verwandle Artikel, Docs und PDFs in sauberes Markdown, bereit zum Einbetten.

    Markdown für LLMs
  2. 02

    Gib KI-Agenten Webzugang

    Verbinde Claude Code, Cursor oder Codex, um Live-Seiten zu lesen.

    Mit Agenten bauen
  3. 03

    Produkt- und Preisdaten sammeln

    Namen, Preise und Lagerbestand als JSON abrufen.

    Strukturierte Daten extrahieren
  4. 04

    Tausende URLs scrapen

    Sende bis zu 10.000 URLs in einem Batch-Job.

    Batch-Job ausführen
  5. 05

    Seiten hinter einem Login lesen

    Einmal anmelden, die Session auf jeder Seite wiederverwenden.

    Sessions nutzen
  6. 06

    Die Daten hinter einer Seite erfassen

    Lies das JSON, das eine Seite lädt, statt HTML zu parsen.

    Netzwerkaufrufe erfassen

Zahle pro Seite, nur wenn es funktioniert

Du bekommst jeden Monat 1.000 kostenlose Credits, ohne Kreditkarte. Eine fehlgeschlagene Anfrage, eine Bot-Challenge oder ein Timeout kostet nichts. In der Beta kostenlos.

1Credit pro Seite
Einfacher Abruf
Statische Seiten. Der Standard.
3Credits pro Seite
JavaScript-Rendering
Seiten, die sich im Browser selbst aufbauen.
8Credits pro Seite
Voller Browser
Screenshots, PDFs, Klicks und Formulare.

1.000 kostenlose Credits im Monat sind 1.000 einfache, 333 JavaScript- oder 125 Seiten im vollen Browser.

Häufig gestellte Fragen

Was ist Spicrawl?

Spicrawl ist eine Web-Scraping-API, die jede URL in sauberes Markdown, HTML, ein PDF oder strukturiertes JSON für deinen Code oder KI-Agenten umwandelt, über eine API, CLI oder einen MCP-Server.

Ist Spicrawl kostenlos?

Ja. In der Beta ist es kostenlos, mit 1.000 Credits im Monat und ohne Kreditkarte.

Kann ich JavaScript-Websites scrapen?

Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.

Kann Spicrawl Bot-Schutz wie Cloudflare überwinden?

Oft, aber nicht immer. Nutze einen echten Browser-Fingerprint, Browser-Rendering oder deinen eigenen Proxy. Eine Bot-Challenge liefert einen klaren Fehler und kostet nichts. Stealth-Modus und verwaltete Proxys sind nicht in der Beta.

Kann ich Spicrawl mit KI-Agenten nutzen?

Ja. Der gehostete MCP-Server lässt Claude Code, Cursor und Codex Seiten scrapen, Batches ausführen, Sessions wiederverwenden und Browser-Aktionen ausführen. Führe spicrawl init aus, um ihn einzurichten.

Kosten fehlgeschlagene Anfragen Credits?

Nein. Nur erfolgreiche Anfragen kosten Credits: 1 für einfach, 3 für JavaScript-Rendering und 8 für einen vollen Browser. Fehler, Bot-Challenges und Timeouts sind kostenlos.

Alle Fragen