API de web scraping par lots
Envoyez jusqu’à 10 000 URL en un seul appel. Récupérez chaque page sous forme de données propres.
import requêtesjob = requêtes.post( "https://api.spicrawl.com/v1/batch", headers="Authorization": "Bearer spicrawl_live_…", json={ "urls": ["https://example.com/one", "https://example.com/two"], "js_render": True, },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])Comment ça marche
- Envoyez vos URL à
POST /v1/batch. Vous recevez aussitôt un ID de job. - Vérifier le job jusqu’à ce que son statut soit
completed,failedoucancelled. - Lire les résultats en JSON Lines, une page à la fois, avec
X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "catalog-refresh",
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown"
}'import os, time, requests
API = "https://api.spicrawl.com"
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
job = requests.post(f"{API}/v1/batch", headers=H, json={
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown",
}, timeout=60).json()
while job["status"] not in ("completed", "failed", "cancelled"):
time.sleep(5)
job = requests.get(f"{API}/v1/batch/{job['id']}", headers=H, timeout=30).json()
results = requests.get(f"{API}/v1/batch/{job['id']}/results", headers=H, timeout=120)
print(results.text) # JSON Lines: one result per linespicrawl batch submit urls.txt --format markdown --wait
spicrawl batch results <job-id> --all -o results.jsonlGardez votre clé dans SPICRAWL_API_KEY. Votre clé doit avoir le scope batch.
Ce que chaque élément peut faire
- Formats :
html(par défaut),markdown,textoujson. - Nettoyage :
main_content_only,include_tagsetexclude_tagsfonctionnent sur le Markdown et le texte. - JavaScript : définissez
js_render: truepour les pages qui ont besoin d’un navigateur. - Paramètres par URL : envoyez
itemsau lieu deurlspour donner à chaque URL ses propres réglages et unexternal_id.
Bon à savoir
- Pas en batch : extraction, captures d’écran, actions de navigateur et sessions. Un job qui les demande est refusé avec une erreur 400 avant toute facturation. Utilisez scrapes uniques pour ces pages.
- Les résultats expirent 72 heures après la fin du job.
- Pas de crawl. Spicrawl ne trouve pas d’URL et ne suit pas les liens. Vous envoyez la liste.
- Tarifs : gratuit pendant la bêta. Chaque élément réussi utilise les mêmes crédits qu’un scrape unique.
Questions fréquentes
Combien d’URL un job batch peut-il contenir ?
Jusqu’à 10 000 URL par appel. Envoyez-les sous forme de liste dans urls, ou comme items quand chaque URL a besoin de ses propres paramètres ou d’un external_id sur lequel vous pouvez faire correspondre.
Quels formats un job batch renvoie-t-il ?
Chaque élément revient en html (par défaut), markdown, text ou json. Markdown et text utilisent la même conversion qu’un scrape unique.
Combien de temps les résultats d’un batch sont-ils conservés ?
For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.
Un job batch peut-il extraire des champs ou cliquer sur des boutons ?
Non. L’extraction, les captures d’écran, les actions de navigateur et les sessions ne s’exécutent pas en batch. Un job qui les demande est refusé avec une erreur 400 avant toute facturation. Utilisez des scrapes uniques pour ces pages.
Le batch crawle-t-il un site web ?
Non. Spicrawl ne trouve pas d’URL et ne suit pas les liens. Vous envoyez la liste des URL voulues.