Spicrawl fonctionne désormais avec OpenAI Agents SDK, LangChain, Codex, Claude Code et plus encore.Voir les intégrations
Aller au contenu

Scraper des sites JavaScript

Envoyez une URL qui a besoin de JavaScript. Récupérez la page en Markdown ou JSON propre.

Panneau de contrôle Spicrawl
Escalade auto
Navigateur
Empreinte
Proxy
Proxys gérés : bientôt disponibles
Session
Actions
Bloquer les ressources
Capture réseau
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
En-têtes de réponse d’exemple
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
hit
X-Credits-Charged
3
Navigateur

Rendez JavaScript dans un vrai navigateur avant la lecture de la page.

Exemple uniquement, pas une vraie requête. La bêta est gratuite.

Une page rendue, dans le format dont vous avez besoin

Voyez comment le contenu d’une page devient du Markdown, du JSON ou du HTML. Ces exemples montrent la sortie, pas une vraie requête.

example.com/product/1
Découvrez le Modèle X — La précision à chaque clic
Souris sans fil — Modèle X
Souris sans fil — Modèle X
$49.00En stock★ 4.6 (1,284)
Récepteur 2,4 GHz à faible latence, 70 jours d’autonomie et interrupteurs silencieux.
SpécificationValeur
Connexion2.4 GHz, BT5Batterie70 jours
<script type="application/ld+json">
result.md
# Souris sans fil — Modèle X**$49.00** · En stock · 4.6 (1_284 avis)Faible-latency, récepteur 2.4 GHz, autonomie de 70-dayet les options silencieuses.| Spec      | Value        || --------- | ------------ || Connexion | 2.4 GHz, BT5 || Batterie  | 70 jours     |
Lecture de la page
HTML brut12 480 jetons
Markdown0 jeton

Menus, pieds de page et publicités supprimés : de 3 % à 24 % des jetons du HTML brut. Page d’exemple.

Comment ça marche

  1. Envoyez l’URL de la page à POST /v1/scrape avec js_render: true.
  2. Attendez le contenu. Définissez wait_for sur un sélecteur CSS, par exemple .price.
  3. Obtenir la page rendue dans le format de votre choix. Les exemples ci-dessous renvoient du Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

Gardez votre clé dans SPICRAWL_API_KEY. Ne la mettez jamais dans du code de navigateur ni dans un fichier que vous commitez.

Quand rendre le JavaScript

Une requête simple télécharge le HTML sans exécuter de scripts. Si le résultat est une coquille vide ou un message “Chargement…”, la page a peut-être besoin de JavaScript. Définissez js_render: true pour l’exécuter dans un navigateur avant de la lire.

Utilisez une requête simple pour le contenu déjà présent dans le HTML. Le rendu est aussi nécessaire pour les actions de navigateur, le blocage de ressources et la capture réseau.

Attendez le bon contenu

OptionCe qu’il fait
wait_forAttendez qu’un sélecteur CSS apparaisse avant la capture.
wait_for_timeoutDéfinissez la limite d’attente de 0 à 120 000 ms. Nécessite wait_for ; 0 utilise la valeur par défaut.
waitAjoutez un délai fixe de 0 à 30 000 ms après le chargement. Préférez un sélecteur quand c’est possible.
block_resourcesChoisissez les ressources à ignorer. Les images et les polices sont bloquées par défaut, avec des exceptions pour les actions et les captures.
response_formatChoisissez Markdown, JSON ou HTML pour le contenu de la page.

Une liste de ressources explicite remplace celle par défaut. Utilisez ["none"] pour ne rien bloquer. Ne bloquez pas les scripts lorsque la page en a besoin pour construire son contenu.

Vérifier le résultat

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine indique quel niveau de rendu a été utilisé (fetch, js ou browser). X-Target-Status est le statut du site, tandis que X-Credits-Charged indique le montant facturé.

Si wait_for ne correspond jamais, la page peut revenir telle qu’elle était, avec X-Warning: RENDER_DEGRADED. Vérifiez le contenu et l’avertissement avant de l’utiliser.

Niveaux de rendu et coût

  • Gratuit pendant la bêta. Les crédits indiquent le coût de chaque requête.
  • Rendu JavaScript : js_render: true coûte 3 crédits par requête réussie.
  • Rendu navigateur complet : coûte 8 crédits. Les captures d’écran, les PDF et les actions l’utilisent, et Spicrawl y route la requête pour vous. Si un déploiement ne peut pas servir le niveau habituel, il peut utiliser le niveau supérieur et renvoyer X-Warning: ENGINE_SUBSTITUTED ; définissez max_cost pour refuser un prix plus élevé.
  • Vous ne choisissez pas le niveau. Spicrawl le choisit selon les besoins de la requête et facture le niveau qui l’a servie.
  • Les échecs coûtent 0. L’attente et le blocage de ressources n’ajoutent aucun supplément. Définissez max_cost pour plafonner une requête.

Bon à savoir

  • Choisissez le rendu ou le mode auto. mode: "auto" ne peut pas être combiné avec js_render. Il commence par une récupération simple, puis passe au rendu JavaScript, puis au rendu navigateur complet, uniquement lorsque l’étape précédente se heurte à un défi.
  • Les options de navigateur nécessitent un navigateur. Envoyer wait_for, des actions ou le blocage de ressources sans js_render renvoie une erreur.
  • Pas de crawl. Envoyez les URL souhaitées ; Spicrawl ne trouve pas de pages et ne suit pas les liens.
  • Bientôt disponible : proxys gérés, mode furtif, navigateur distant et extraction à partir d’un prompt en langage naturel.
  • Votre responsabilité : ne récupérez que les pages que vous avez le droit d’utiliser. Lisez nos conditions.

Questions fréquentes

Comment scraper un site web JavaScript ?

Envoyez l’URL de la page à POST https://api.spicrawl.com/v1/scrape avec js_render défini sur true. Le navigateur exécute les scripts avant que Spicrawl lise la page. Choisissez response_format pour Markdown, JSON ou HTML.

Comment attendre le chargement du contenu ?

Définissez wait_for sur un sélecteur CSS, comme .price. Utilisez wait_for_timeout pour fixer un délai allant jusqu’à 120000 millisecondes. Si le sélecteur ne correspond jamais, la page peut revenir telle qu’elle était avec X-Warning: RENDER_DEGRADED. Vérifiez l’avertissement avant d’utiliser le résultat.

Combien coûte le rendu JavaScript ?

Spicrawl est gratuit pendant la bêta. Les rendus JavaScript réussis utilisent 3 crédits ; le rendu navigateur complet en utilise 8. Si un déploiement ne peut pas servir le rendu JavaScript, js_render peut être servi par le rendu navigateur complet et facturé à ce prix. Les requêtes échouées utilisent 0 crédit. Lisez X-Engine (fetch, js ou browser) et X-Credits-Charged pour vérifier ce qui a été exécuté.

Puis-je utiliser le mode auto avec le rendu JavaScript ?

Non. mode: auto ne peut pas être combiné avec js_render. Le mode auto commence par une requête simple et monte au rendu JavaScript, puis au rendu navigateur complet, quand le résultat est inutilisable. Pour les pages dont vous savez qu’elles ont besoin de JavaScript, utilisez plutôt js_render: true.

Peut-il crawler un site JavaScript ?

Non. Spicrawl ne trouve pas d’URL et ne suit pas les liens. Envoyez les URL des pages que vous voulez lire. Ne récupérez que des pages que vous avez le droit d’utiliser.