Cattura le chiamate API dietro una pagina web
Molte pagine caricano i loro dati da un’API. Cattura quelle chiamate e leggi direttamente il JSON.
Come funziona
- Esegui il render della pagina. Imposta
js_render: true, perché la cattura funziona solo in un browser. - Scegli le chiamate. Imposta
network_capturesu un elencourlsdi pattern, ad esempio/api/search. - Leggi i body. Ogni chiamata corrispondente torna nell’array
networkcon il suo stato, tipo e corpo.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/search?q=desk",
"js_render": true,
"network_capture": { "urls": ["/api/search"] }
}'spicrawl scrape "https://example.com/search?q=desk" --render \
--network-capture '{"urls":["/api/search"]}'Tieni la chiave in SPICRAWL_API_KEY.
Cosa torna indietro
Un estratto della risposta documentata. I contenuti della pagina sono un esempio.
{
"status": 200,
"credits": 3,
"network": [
{
"url": "https://example.com/api/search?q=desk&page=1",
"status": 200,
"resource_type": "fetch",
"content_type": "application/json",
"body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
}
]
}Quando usarlo
- La pagina si riempie da sola da un’API. Il JSON di solito è più pulito e stabile del markup che ne deriva.
- Ricerca, schede e feed. I risultati spesso si caricano come un’unica chiamata JSON che puoi leggere per intero.
- Altrimenti, usa estrazione strutturata con selettori CSS o un JSON Schema.
Da sapere
- Richiede
js_render. Non aggiunge crediti oltre ai 3 del rendering JavaScript. Le richieste fallite costano 0. - Sii rispettoso. Recupera solo dati che puoi usare e rispetta i termini del sito.
- Prezzi: gratis durante la beta, con 1.000 crediti al mese.
Domande frequenti
Cosa fa la cattura di rete?
Registra le chiamate di rete che una pagina fa mentre si carica e restituisce quelle che chiedi, incluso il corpo della risposta. Così puoi leggere il JSON che la pagina stessa usa, invece di analizzare l’HTML che ne ricava.
Come scelgo quali chiamate catturare?
Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.
Serve il rendering JavaScript?
Sì. La cattura funziona solo quando la pagina viene renderizzata in un browser, quindi imposta js_render su true.
La cattura di rete costa extra?
No. Non aggiunge crediti oltre al rendering JavaScript che già paghi, cioè 3 crediti. Le richieste fallite costano 0.
Devo usarlo invece di fare scraping dell’HTML?
Quando una pagina si riempie da un’API JSON, leggere quel JSON di solito è più pulito e stabile che analizzare il markup. Rispetta i termini del sito e recupera solo dati che hai il permesso di usare.