Capturer les appels API derrière une page web
De nombreuses pages chargent leurs données depuis une API. Capturez ces appels et lisez directement le JSON.
Comment ça marche
- Rendez la page. Définissez
js_render: true, parce que la capture ne s’exécute que dans un navigateur. - Choisissez les appels. Définissez
network_capturesur une listeurlsde motifs, par exemple/api/search. - Lisez les corps. Chaque appel correspondant revient dans le tableau
networkavec son statut, son type et son corps.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/search?q=desk",
"js_render": true,
"network_capture": { "urls": ["/api/search"] }
}'spicrawl scrape "https://example.com/search?q=desk" --render \
--network-capture '{"urls":["/api/search"]}'Gardez votre clé dans SPICRAWL_API_KEY.
Ce qui est renvoyé
Un extrait de la réponse documentée. Le contenu de la page est un exemple.
{
"status": 200,
"credits": 3,
"network": [
{
"url": "https://example.com/api/search?q=desk&page=1",
"status": 200,
"resource_type": "fetch",
"content_type": "application/json",
"body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
}
]
}Quand l’utiliser
- La page se remplit à partir d’une API. Le JSON est généralement plus propre et plus stable que le balisage qui en est tiré.
- Recherche, fiches et flux. Les résultats se chargent souvent en un seul appel JSON que vous pouvez lire en entier.
- Sinon, utilisez l’extraction structurée avec des sélecteurs CSS ou un JSON Schema.
Bon à savoir
- Nécessite
js_render. Cela n’ajoute aucun crédit aux 3 du rendu JavaScript. Les requêtes échouées coûtent 0. - Soyez respectueux. Ne récupérez que les données que vous avez le droit d’utiliser, et respectez les conditions du site.
- Tarifs : gratuit pendant la bêta, avec 1 000 crédits par mois.
Questions fréquentes
Que fait la capture réseau ?
Il enregistre les appels réseau qu’une page effectue pendant son chargement et renvoie ceux que vous demandez, y compris le corps de la réponse. Vous pouvez ainsi lire le JSON que la page utilise elle-même, au lieu d’analyser le HTML qu’elle en tire.
Comment choisir les appels à capturer ?
Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.
A-t-il besoin du rendu JavaScript ?
Oui. La capture ne fonctionne que lorsque la page est rendue dans un navigateur, donc définissez js_render sur true.
La capture réseau coûte-t-elle plus cher ?
Non. Il n’ajoute aucun crédit en plus du rendu JavaScript que vous payez déjà, soit 3 crédits. Les requêtes échouées coûtent 0.
Dois-je l’utiliser plutôt que scraper le HTML ?
Quand une page se remplit depuis une API JSON, lire ce JSON est généralement plus propre et plus stable que d’analyser le balisage. Respectez les conditions du site et ne récupérez que des données que vous avez le droit d’utiliser.