Cliquez, saisissez et faites défiler avant de scraper
Ouvrez des menus, remplissez des formulaires et chargez-en plus. Puis lisez la page.
- 1ClicOuvrir un menu ou appuyer sur « Load more »
- 2SaisieRemplir un formulaire ou une zone de recherche
- 3DéfilementCharger le reste du flux
- 4LectureObtenir la page en Markdown
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com", "js_render": true, "response_format": "markdown", "actions": [ { "click": "#accept" }, { "fill": { "selector": "#search", "value": "shoes" } }, { "scroll": { "y": 800 } } ] }'Comment ça marche
- Activer le rendu avec
js_render: true. Les actions nécessitent un navigateur. - Listez vos étapes dans
actions. Elles s’exécutent dans l’ordre une fois la page chargée. - Obtenir la page telle qu’elle apparaît après la dernière étape, dans le format choisi.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products?category=lamps",
"js_render": true,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"}
]
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products?category=lamps",
"js_render": True,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"},
],
},
timeout=180,
)
print(r.text)spicrawl scrape "https://example.com/products?category=lamps" --render --format markdown \
--actions '[{"click":"button.load-more"},{"wait_for":".product-card:nth-child(40)"}]'Étapes utilisables
| Étape | Ce qu’il fait |
|---|---|
wait_for | Attend un élément, ou une durée fixe |
click | Clique sur un bouton ou un lien |
fill | Saisit du texte dans un champ. Ajoutez secret: true pour masquer la valeur dans les journaux |
select | Choisit une option dans une liste |
scroll | Fait défiler la page, pour les flux qui en chargent plus au fil du défilement |
evaluate | Exécute votre propre JavaScript sur la page |
screenshot | Enregistre une image de la page à cette étape |
Bon à savoir
- Jusqu’à 50 étapes par requête. Toute la liste est vérifiée avant toute dépense.
- Navigateur uniquement. Sans
js_render, la requête est refusée avec une erreur 400. - Pas en batch. Les actions ne s’exécutent que sur des scrapes uniques.
- Connexions : ne vous connectez qu’à des comptes qui vous appartiennent ou que vous avez le droit d’utiliser. Pour rester connecté, utilisez une session.
- Tarifs : gratuit pendant la bêta. Les actions s’exécutent en rendu navigateur complet, qui coûte 8 crédits.
Questions fréquentes
Que peuvent faire les actions de navigateur ?
Attendre un élément, attendre une navigation, cliquer, remplir un champ, sélectionner une option, faire défiler, exécuter du JavaScript et prendre une capture d’écran. Les étapes s’exécutent dans l’ordre après le chargement de la page.
Combien d’étapes une requête peut-elle contenir ?
Jusqu’à 50. Toute la liste est vérifiée avant l’exécution de la requête, donc une erreur échoue tôt et ne coûte rien.
Les actions de navigateur nécessitent-elles le rendu JavaScript ?
Oui. Les actions s’exécutent dans un navigateur, donc définissez js_render sur true. Sans cela, la requête est refusée avec une erreur 400.
Puis-je saisir un mot de passe en toute sécurité ?
Oui. Marquez l’étape fill avec secret défini sur true, et la valeur est masquée dans les journaux. Ne vous connectez qu’à des comptes qui vous appartiennent ou que vous avez le droit d’utiliser.
Puis-je obtenir une capture d’écran après les étapes ?
Oui. Ajoutez une étape screenshot. La réponse devient alors l’enveloppe JSON, avec les images sous screenshots.