Leg de API-aanroepen achter een webpagina vast
Veel pagina's laden hun data uit een API. Leg die aanroepen vast en lees de JSON direct.
Hoe het werkt
- Render de pagina. Stel
js_render: truein, omdat vastleggen alleen in een browser werkt. - Kies de aanroepen. Stel
network_capturein op eenurls-lijst met patronen, zoals/api/search. - Lees de bodies. Elke overeenkomende aanroep komt terug in de
network-array met zijn status, type en body.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/search?q=desk",
"js_render": true,
"network_capture": { "urls": ["/api/search"] }
}'spicrawl scrape "https://example.com/search?q=desk" --render \
--network-capture '{"urls":["/api/search"]}'Bewaar je sleutel in SPICRAWL_API_KEY.
Wat je terugkrijgt
Een fragment van de gedocumenteerde respons. De pagina-inhoud is een voorbeeld.
{
"status": 200,
"credits": 3,
"network": [
{
"url": "https://example.com/api/search?q=desk&page=1",
"status": 200,
"resource_type": "fetch",
"content_type": "application/json",
"body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
}
]
}Wanneer je het gebruikt
- De pagina vult zichzelf vanuit een API. De JSON is meestal schoner en stabieler dan de markup die ervan is afgeleid.
- Zoeken, vermeldingen en feeds. Resultaten laden vaak als één JSON-aanroep die je in zijn geheel kunt lezen.
- Anders gebruik gestructureerde extractie met CSS-selectors of een JSON Schema.
Goed om te weten
- Heeft
js_rendernodig. Het voegt geen credits toe bovenop de 3 voor JavaScript-rendering. Mislukte verzoeken kosten 0. - Wees respectvol. Haal alleen data op die je mag gebruiken en volg de voorwaarden van de site.
- Prijzen: gratis tijdens de beta, met 1.000 credits per maand.
Veelgestelde vragen
Wat doet netwerkcapture?
Het legt de netwerkaanroepen vast die een pagina maakt tijdens het laden en geeft de aanroepen terug waar je om vraagt, inclusief de responsebody. Zo kun je de JSON lezen die de pagina zelf gebruikt, in plaats van de HTML te parsen die daaruit wordt getekend.
Hoe kies ik welke aanroepen ik vastleg?
Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.
Heeft het JavaScript-rendering nodig?
Ja. Capture werkt alleen als de pagina in een browser wordt gerenderd, dus stel js_render in op true.
Kost netwerkcapture extra?
Nee. Het voegt geen credits toe bovenop de JavaScript-rendering die je al betaalt, namelijk 3 credits. Mislukte verzoeken kosten 0.
Moet ik het gebruiken in plaats van de HTML te scrapen?
Als een pagina zichzelf vult vanuit een JSON-API, is het lezen van die JSON meestal schoner en stabieler dan het parsen van markup. Respecteer de voorwaarden van de site en haal alleen data op die je mag gebruiken.