Spicrawl fonctionne désormais avec OpenAI Agents SDK, LangChain, Codex, Claude Code et plus encore.Voir les intégrations
Aller au contenu

API de web scraping par lots

Envoyez jusqu’à 10 000 URL en un seul appel. Récupérez chaque page sous forme de données propres.

Soumettre les URL
batch.py
import requêtesjob = requêtes.post(    "https://api.spicrawl.com/v1/batch",    headers="Authorization": "Bearer spicrawl_live_…",    json={        "urls": ["https://example.com/one", "https://example.com/two"],        "js_render": True,    },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])

Comment ça marche

  1. Envoyez vos URL à POST /v1/batch. Vous recevez aussitôt un ID de job.
  2. Vérifier le job jusqu’à ce que son statut soit completed, failed ou cancelled.
  3. Lire les résultats en JSON Lines, une page à la fois, avec X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "catalog-refresh",
    "urls": ["https://example.com/products/1", "https://example.com/products/2"],
    "response_format": "markdown"
  }'

Gardez votre clé dans SPICRAWL_API_KEY. Votre clé doit avoir le scope batch.

Ce que chaque élément peut faire

  • Formats : html (par défaut), markdown, text ou json.
  • Nettoyage : main_content_only, include_tags et exclude_tags fonctionnent sur le Markdown et le texte.
  • JavaScript : définissez js_render: true pour les pages qui ont besoin d’un navigateur.
  • Paramètres par URL : envoyez items au lieu de urls pour donner à chaque URL ses propres réglages et un external_id.

Bon à savoir

  • Pas en batch : extraction, captures d’écran, actions de navigateur et sessions. Un job qui les demande est refusé avec une erreur 400 avant toute facturation. Utilisez scrapes uniques pour ces pages.
  • Les résultats expirent 72 heures après la fin du job.
  • Pas de crawl. Spicrawl ne trouve pas d’URL et ne suit pas les liens. Vous envoyez la liste.
  • Tarifs : gratuit pendant la bêta. Chaque élément réussi utilise les mêmes crédits qu’un scrape unique.

Questions fréquentes

Combien d’URL un job batch peut-il contenir ?

Jusqu’à 10 000 URL par appel. Envoyez-les sous forme de liste dans urls, ou comme items quand chaque URL a besoin de ses propres paramètres ou d’un external_id sur lequel vous pouvez faire correspondre.

Quels formats un job batch renvoie-t-il ?

Chaque élément revient en html (par défaut), markdown, text ou json. Markdown et text utilisent la même conversion qu’un scrape unique.

Combien de temps les résultats d’un batch sont-ils conservés ?

For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.

Un job batch peut-il extraire des champs ou cliquer sur des boutons ?

Non. L’extraction, les captures d’écran, les actions de navigateur et les sessions ne s’exécutent pas en batch. Un job qui les demande est refusé avec une erreur 400 avant toute facturation. Utilisez des scrapes uniques pour ces pages.

Le batch crawle-t-il un site web ?

Non. Spicrawl ne trouve pas d’URL et ne suit pas les liens. Vous envoyez la liste des URL voulues.