Extraire des données structurées de n’importe quel site web
Choisissez les champs dont vous avez besoin. Récupérez-les en JSON propre.


# Souris sans fil — Modèle X**$49.00** · En stock · 4.6 (1_284 avis)Faible-latency, récepteur 2.4 GHz, autonomie de 70-dayet les options silencieuses.| Spec | Value || --------- | ------------ || Connexion | 2.4 GHz, BT5 || Batterie | 70 jours |Menus, pieds de page et publicités supprimés : de 3 % à 24 % des jetons du HTML brut. Page d’exemple.
La réponse complète : statut, URL, moteur et données. Page d’exemple.
Infos de la page, règles CSS ou JSON Schema avec sélecteurs. Page d’exemple.
Étapes à exécuter sur la page, en rendu navigateur complet.
Comment ça marche
- Nommez vos champs et donnez à chacun un sélecteur CSS.
- Envoyez-les dans
extractavec l’URL de la page. - Lisez le JSON. Vos champs se trouvent sous
data.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products/42",
"extract": { "title": "h1", "price": ".price", "next_page": "a.next@href" }
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products/42",
"extract": {"title": "h1", "price": ".price", "next_page": "a.next@href"},
},
timeout=120,
)
env = r.json()
print(env["data"], env.get("empty_fields"))spicrawl scrape https://example.com/products/42 \
--extract '{"title":"h1","price":".price","next_page":"a.next@href"}'{
"status": 200,
"data": {
"title": "Walnut Desk",
"price": "$349.00"
},
"empty_fields": ["next_page"]
}empty_fields liste les champs qui n’ont rien trouvé. C’est souvent le premier signe qu’un site a changé de mise en page.
Trois façons d’obtenir des données
| Way | Ce que vous envoyez | Ce que vous obtenez |
|---|---|---|
autoparse | "autoparse": true | Le JSON-LD, OpenGraph, microdata, métadonnées et état d’application propres à la page |
| Carte de sélecteurs | Noms de champs et sélecteurs CSS | Exactement ces champs, sous forme de texte |
| JSON Schema | Un schéma dont les champs ont des sélecteurs | Valeurs typées et vérifiées, donc "$1,234.56" devient 1 234.56 |
Bon à savoir
- Aucun crédit supplémentaire pour l’extraction. Vous ne payez que la requête : 1 crédit en simple, 3 avec JavaScript.
- Bientôt disponible : extraction à partir d’un prompt en langage naturel. Aujourd’hui, utilisez des sélecteurs, un schéma ou autoparse.
- Pas en batch. L’extraction ne s’exécute que sur des scrapes uniques.
- Votre responsabilité : n’extrayez que les données que vous avez le droit d’utiliser. Consultez nos conditions.
Questions fréquentes
Comment extraire des données d’un site web en JSON ?
Envoyez extract avec une carte de noms de champs vers des sélecteurs CSS, comme "title": "h1" et "price": ".price". Les valeurs reviennent sous data dans la réponse JSON.
Que fait autoparse ?
Il renvoie ce que la page dit déjà d’elle-même, sans sélecteurs : JSON-LD, OpenGraph, Twitter Card, microdata, RDFa, métadonnées head et état d’application intégré.
Peut-il renvoyer des nombres plutôt que du texte ?
Oui. Utilisez un JSON Schema dont les propriétés ont un sélecteur. Les valeurs sont converties au type déclaré, donc "$1,234.56" devient 1 234.56, et le résultat est validé par rapport au schéma.
Comment savoir quand un site change sa mise en page ?
Vérifiez empty_fields dans la réponse. Il liste les champs dont le sélecteur n’a rien trouvé, ce qui est souvent le premier signe que le balisage a changé.
Puis-je décrire les champs avec des mots simples plutôt que des sélecteurs ?
Pas encore. L’extraction avec un prompt de modèle arrive bientôt. Aujourd’hui, utilisez des sélecteurs, un JSON Schema ou autoparse.