Scraper des sites JavaScript
Envoyez une URL qui a besoin de JavaScript. Récupérez la page en Markdown ou JSON propre.
{ "url": "https://shop.example/product/1", "js_render": true, "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- hit
- X-Credits-Charged
- 3
Commence par une requête simple et passe à un navigateur seulement si le site la bloque. Les requêtes bloquées ne coûtent rien.
Rendez JavaScript dans un vrai navigateur avant la lecture de la page.
Les requêtes simples portent l’empreinte TLS et HTTP/2 d’un vrai navigateur.
Une connexion directe ou votre propre proxy, sans supplément.
Conservez les cookies et le stockage entre les requêtes, pour qu’une connexion se maintienne.
Cliquez, saisissez, faites défiler et exécutez du JavaScript avant la lecture de la page.
Ignorez les images, les polices et les médias pour des chargements plus rapides.
Enregistrez les appels d’API que la page effectue pendant son chargement.
Activé par défaut pendant 48 heures. Les répétitions sont plus rapides, facturées pareil.
Une page rendue, dans le format dont vous avez besoin
Voyez comment le contenu d’une page devient du Markdown, du JSON ou du HTML. Ces exemples montrent la sortie, pas une vraie requête.


# Souris sans fil — Modèle X**$49.00** · En stock · 4.6 (1_284 avis)Faible-latency, récepteur 2.4 GHz, autonomie de 70-dayet les options silencieuses.| Spec | Value || --------- | ------------ || Connexion | 2.4 GHz, BT5 || Batterie | 70 jours |Menus, pieds de page et publicités supprimés : de 3 % à 24 % des jetons du HTML brut. Page d’exemple.
La réponse complète : statut, URL, moteur et données. Page d’exemple.
Infos de la page, règles CSS ou JSON Schema avec sélecteurs. Page d’exemple.
Étapes à exécuter sur la page, en rendu navigateur complet.
Comment ça marche
- Envoyez l’URL de la page à
POST /v1/scrapeavecjs_render: true. - Attendez le contenu. Définissez
wait_forsur un sélecteur CSS, par exemple.price. - Obtenir la page rendue dans le format de votre choix. Les exemples ci-dessous renvoient du Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "js_render": True, "wait_for": ".price", "response_format": "markdown"},
timeout=180,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", js_render: true, wait_for: ".price", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --render --wait-for .price --format markdown --metaGardez votre clé dans SPICRAWL_API_KEY. Ne la mettez jamais dans du code de navigateur ni dans un fichier que vous commitez.
Quand rendre le JavaScript
Une requête simple télécharge le HTML sans exécuter de scripts. Si le résultat est une coquille vide ou un message “Chargement…”, la page a peut-être besoin de JavaScript. Définissez js_render: true pour l’exécuter dans un navigateur avant de la lire.
Utilisez une requête simple pour le contenu déjà présent dans le HTML. Le rendu est aussi nécessaire pour les actions de navigateur, le blocage de ressources et la capture réseau.
Attendez le bon contenu
| Option | Ce qu’il fait |
|---|---|
wait_for | Attendez qu’un sélecteur CSS apparaisse avant la capture. |
wait_for_timeout | Définissez la limite d’attente de 0 à 120 000 ms. Nécessite wait_for ; 0 utilise la valeur par défaut. |
wait | Ajoutez un délai fixe de 0 à 30 000 ms après le chargement. Préférez un sélecteur quand c’est possible. |
block_resources | Choisissez les ressources à ignorer. Les images et les polices sont bloquées par défaut, avec des exceptions pour les actions et les captures. |
response_format | Choisissez Markdown, JSON ou HTML pour le contenu de la page. |
Une liste de ressources explicite remplace celle par défaut. Utilisez ["none"] pour ne rien bloquer. Ne bloquez pas les scripts lorsque la page en a besoin pour construire son contenu.
Vérifier le résultat
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3X-Engine indique quel niveau de rendu a été utilisé (fetch, js ou browser). X-Target-Status est le statut du site, tandis que X-Credits-Charged indique le montant facturé.
Si wait_for ne correspond jamais, la page peut revenir telle qu’elle était, avec X-Warning: RENDER_DEGRADED. Vérifiez le contenu et l’avertissement avant de l’utiliser.
Niveaux de rendu et coût
- Gratuit pendant la bêta. Les crédits indiquent le coût de chaque requête.
- Rendu JavaScript :
js_render: truecoûte 3 crédits par requête réussie. - Rendu navigateur complet : coûte 8 crédits. Les captures d’écran, les PDF et les actions l’utilisent, et Spicrawl y route la requête pour vous. Si un déploiement ne peut pas servir le niveau habituel, il peut utiliser le niveau supérieur et renvoyer
X-Warning: ENGINE_SUBSTITUTED; définissezmax_costpour refuser un prix plus élevé. - Vous ne choisissez pas le niveau. Spicrawl le choisit selon les besoins de la requête et facture le niveau qui l’a servie.
- Les échecs coûtent 0. L’attente et le blocage de ressources n’ajoutent aucun supplément. Définissez
max_costpour plafonner une requête.
Bon à savoir
- Choisissez le rendu ou le mode auto.
mode: "auto"ne peut pas être combiné avecjs_render. Il commence par une récupération simple, puis passe au rendu JavaScript, puis au rendu navigateur complet, uniquement lorsque l’étape précédente se heurte à un défi. - Les options de navigateur nécessitent un navigateur. Envoyer
wait_for, des actions ou le blocage de ressources sansjs_renderrenvoie une erreur. - Pas de crawl. Envoyez les URL souhaitées ; Spicrawl ne trouve pas de pages et ne suit pas les liens.
- Bientôt disponible : proxys gérés, mode furtif, navigateur distant et extraction à partir d’un prompt en langage naturel.
- Votre responsabilité : ne récupérez que les pages que vous avez le droit d’utiliser. Lisez nos conditions.
Questions fréquentes
Comment scraper un site web JavaScript ?
Envoyez l’URL de la page à POST https://api.spicrawl.com/v1/scrape avec js_render défini sur true. Le navigateur exécute les scripts avant que Spicrawl lise la page. Choisissez response_format pour Markdown, JSON ou HTML.
Comment attendre le chargement du contenu ?
Définissez wait_for sur un sélecteur CSS, comme .price. Utilisez wait_for_timeout pour fixer un délai allant jusqu’à 120000 millisecondes. Si le sélecteur ne correspond jamais, la page peut revenir telle qu’elle était avec X-Warning: RENDER_DEGRADED. Vérifiez l’avertissement avant d’utiliser le résultat.
Combien coûte le rendu JavaScript ?
Spicrawl est gratuit pendant la bêta. Les rendus JavaScript réussis utilisent 3 crédits ; le rendu navigateur complet en utilise 8. Si un déploiement ne peut pas servir le rendu JavaScript, js_render peut être servi par le rendu navigateur complet et facturé à ce prix. Les requêtes échouées utilisent 0 crédit. Lisez X-Engine (fetch, js ou browser) et X-Credits-Charged pour vérifier ce qui a été exécuté.
Puis-je utiliser le mode auto avec le rendu JavaScript ?
Non. mode: auto ne peut pas être combiné avec js_render. Le mode auto commence par une requête simple et monte au rendu JavaScript, puis au rendu navigateur complet, quand le résultat est inutilisable. Pour les pages dont vous savez qu’elles ont besoin de JavaScript, utilisez plutôt js_render: true.
Peut-il crawler un site JavaScript ?
Non. Spicrawl ne trouve pas d’URL et ne suit pas les liens. Envoyez les URL des pages que vous voulez lire. Ne récupérez que des pages que vous avez le droit d’utiliser.