Spicrawl fonctionne désormais avec OpenAI Agents SDK, LangChain, Codex, Claude Code et plus encore.Voir les intégrations
Aller au contenu

Données mondiales en direct pour agents

Débloquez les données mondiales pour vos agents et systèmes, construisez de meilleurs produits.

Inscription(gratuit pendant la bêta)
Essayez :

Essayez gratuitement : n’importe quelle page publique en Markdown propre, sans inscription.

Tout ce que fait l’API de web scraping Spicrawl

Sortie Markdown et JSON, rendu JavaScript, gestion de Cloudflare et de l’anti-bot, actions de navigateur, sessions, jobs batch jusqu’à 10 000 URL, extraction structurée, capture réseau, captures d’écran et PDF, et mise en cache. Chacun est un paramètre de la même API, et chacun est aussi disponible depuis la CLI et le serveur MCP.

3/3Servi, facturé pour ce niveau

Simple, JavaScript ou navigateur complet

  • 1, 3 ou 8 crédits selon le niveau. mode: auto commence au moins cher et ne monte que si nécessaire.
  • Vous payez le niveau qui a servi. Les échecs coûtent 0.
  • js_render
  • mode
  • wait_for
render.sh
curl https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com/products",    "js_render": true,    "wait_for": ".product-card",    "response_format": "json"  }'

spicrawl scrape <url> --render

Lire le guide

Explorer la documentation de l’API

Essayez sur une page que vous scrapez aujourd’hui

Une clé API, 1 000 crédits gratuits par mois, sans carte bancaire.

Up to 97% fewer tokens than raw HTML

Menus, scripts and ads are stripped before the page reaches your model, so the same facts take a fraction of the context. Raw HTML on the left, Spicrawl Markdown on the right.

Page de documentation Spicrawl
−97%jetons
README GitHub
−94%jetons
Article Wikipédia
−76%jetons
Voir comment nous avons mesuré

Mesurez les économies sur vos propres URL

Exécutez les mêmes pages dans les deux formats et comparez le nombre de jetons.

Two ways in: ask your agent, or call the API

Describe the page in plain words, or send one POST request. Both return the same clean output.

  1. Demandez simplement à votre IA

    Connectez une fois, puis demandez avec des mots simples. Aucun code à écrire.

    Configurer dans Claude Code
  2. Appeler l’API

    Un POST renvoie du Markdown, du JSON ou du HTML. Batch jusqu’à 10 000 URL.

    Lire la documentation de l’API

Connectez votre agent IA avec Spicrawl MCP

Un serveur MCP hébergé : scrape, batch, sessions et actions de navigateur, sans code de liaison.

Point de terminaison MCP : https://mcp.spicrawl.com/mcp

  • Scrape
  • Jobs batch
  • Sessions
  • Actions
  • Historique des requêtes
  • Utilisation
  • Docs
Claude Code scrape une page

Êtes-vous un agent IA ?

Récupérez la skill et commencez à scraper.

$curl -s https://docs.spicrawl.com/skill.md

Voir la skill llms.txt

Compatible avec les outils que vous utilisez déjà

Donnez le web à votre agent en un seul prompt

Compatible avec Claude Code, Cursor, Codex et tout client MCP.

Get Markdown, JSON or structured data from one request

Pick the format your next step needs: Markdown for a prompt, JSON for your app, a screenshot or PDF for a record.

example.com/product/1
Découvrez le Modèle X — La précision à chaque clic
Souris sans fil — Modèle X
Souris sans fil — Modèle X
$49.00En stock★ 4.6 (1,284)
Récepteur 2,4 GHz à faible latence, 70 jours d’autonomie et interrupteurs silencieux.
SpécificationValeur
Connexion2.4 GHz, BT5Batterie70 jours
<script type="application/ld+json">
result.md
# Souris sans fil — Modèle X**$49.00** · En stock · 4.6 (1_284 avis)Faible-latency, récepteur 2.4 GHz, autonomie de 70-dayet les options silencieuses.| Spec      | Value        || --------- | ------------ || Connexion | 2.4 GHz, BT5 || Batterie  | 70 jours     |
Lecture de la page
HTML brut12 480 jetons
Markdown0 jeton

Menus, pieds de page et publicités supprimés : de 3 % à 24 % des jetons du HTML brut. Page d’exemple.

Convertissez n’importe quel site web en Markdown pour les LLM

Scrape JavaScript sites, logins and dynamic pages

Start with a plain fetch. Spicrawl moves up to a real browser only when the page needs one. Keep a session to stay logged in, or bring your own proxy.

Panneau de contrôle Spicrawl
Escalade auto
Navigateur
Empreinte
Proxy
Proxys gérés : bientôt disponibles
Session
Actions
Bloquer les ressources
Capture réseau
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "mode": "auto",  "cache": true,  "response_format": "markdown"}
En-têtes de réponse d’exemple
X-Target-Status
200
X-Engine
fetch
X-Proxy-Source
direct
Cache-State
hit
X-Credits-Charged
1
Escalade automatique

Commence par une requête simple et passe à un navigateur seulement si le site la bloque. Les requêtes bloquées ne coûtent rien.

Exemple uniquement, pas une vraie requête. La bêta est gratuite.

Test in the dashboard, then ship with the API or CLI

Try a URL, copy the request, and run it from your code or your terminal.

CLI

Scrapez une URL, traitez des milliers de pages en batch et gérez les sessions depuis votre terminal.

Lire la documentation de la CLI

Tableau de bord

Exécutez des requêtes de test, lisez les journaux et l’usage, et gérez les clés API.

Ouvrir le tableau de bord

Documentation

Guides, référence de l’API et une spécification OpenAPI pour vos outils.

Lire la documentation

Try what people build with Spicrawl

Small working tools, each built on the Spicrawl API.

  1. change-monitor.spicrawl.com

    Change monitor

    Revérifiez une page et voyez ce qui a changé.

    Essayer en direct
  2. price-tracker.spicrawl.com

    Suivi de prix

    Collez un lien de produit, obtenez son prix.

    Essayer en direct
  3. docs2skill.spicrawl.com

    Docs → Skill

    Transformez un site de docs en skill d’agent.

    Essayer en direct

What you can build with a web scraping API

Each job links to a guide in the docs, with working code.

  1. 01

    Alimenter les LLM et les pipelines RAG

    Transformez articles, docs et PDF en Markdown propre, prêt pour l’embedding.

    Markdown pour les LLM
  2. 02

    Donnez aux agents IA l’accès au web

    Connectez Claude Code, Cursor ou Codex pour lire des pages en direct.

    Construire avec des agents
  3. 03

    Collecter des données de produits et de prix

    Extrayez noms, prix et stock en JSON.

    Extraire des données structurées
  4. 04

    Scraper des milliers d’URL

    Envoyez jusqu’à 10 000 URL dans un job batch.

    Lancer un job batch
  5. 05

    Lire des pages derrière une connexion

    Connectez-vous une fois, réutilisez la session sur chaque page.

    Utiliser les sessions
  6. 06

    Capturer les données derrière une page

    Lisez le JSON qu’une page charge au lieu d’analyser le HTML.

    Capturer les appels réseau

Payez par page, seulement quand ça marche

Vous recevez 1 000 crédits gratuits chaque mois, sans carte bancaire. Une requête échouée, un défi anti-bot ou un délai dépassé ne coûte rien. Gratuit pendant la bêta.

1crédit par page
Récupération simple
Pages statiques. Par défaut.
3crédits par page
Rendu JavaScript
Pages qui se construisent d’elles-mêmes dans le navigateur.
8crédits par page
Navigateur complet
Captures d’écran, PDF, clics et formulaires.

1 000 crédits gratuits par mois correspondent à 1 000 pages simples, 333 pages JavaScript ou 125 pages en navigateur complet.

Questions fréquentes

Qu’est-ce que Spicrawl ?

Spicrawl est une API de web scraping qui transforme n’importe quelle URL en Markdown, HTML, PDF ou JSON structuré propre pour votre code ou votre agent IA, via une API, une CLI ou un serveur MCP.

Spicrawl est-il gratuit ?

Oui. C’est gratuit pendant la bêta, avec 1 000 crédits par mois et sans carte bancaire.

Puis-je scraper des sites JavaScript ?

Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.

Spicrawl peut-il franchir une protection anti-bot comme Cloudflare ?

Souvent, mais pas toujours. Utilisez une vraie empreinte de navigateur, le rendu navigateur ou votre propre proxy. Un défi anti-bot renvoie une erreur claire et ne coûte rien. Le mode furtif et les proxys gérés ne sont pas dans la bêta.

Puis-je utiliser Spicrawl avec des agents IA ?

Oui. Le serveur MCP hébergé permet à Claude Code, Cursor et Codex de scraper des pages, d’exécuter des batchs, de réutiliser des sessions et d’exécuter des actions de navigateur. Exécutez spicrawl init pour le configurer.

Les requêtes échouées coûtent-elles des crédits ?

Non. Seules les requêtes réussies coûtent des crédits : 1 pour simple, 3 pour le rendu JavaScript et 8 pour le navigateur complet. Les erreurs, les défis anti-bot et les délais dépassés sont gratuits.

Toutes les questions