Scraping di siti JavaScript
Invia un URL che richiede JavaScript. Ottieni la pagina come Markdown o JSON pulito.
{ "url": "https://shop.example/product/1", "js_render": true, "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- diretto
- Cache-State
- hit
- X-Credits-Charged
- 3
Parte da una richiesta semplice e sale a un browser solo se il sito la blocca. Le richieste bloccate non costano nulla.
Esegui il rendering JavaScript in un browser reale prima che la pagina venga letta.
Le richieste semplici portano il fingerprint TLS e HTTP/2 di un browser reale.
Una connessione diretta o il tuo proxy, senza sovrapprezzo.
Mantieni cookie e storage tra una richiesta e l’altra, così un login resta attivo.
Clicca, scrivi, scorri ed esegui JavaScript prima che la pagina venga letta.
Salta immagini, font e media per caricamenti più veloci.
Registra le chiamate API che la pagina fa mentre si carica.
Attiva per impostazione predefinita per 48 ore. Le ripetizioni sono più veloci, fatturate allo stesso modo.
Una pagina renderizzata, nel formato che ti serve
Guarda come il contenuto di una pagina diventa Markdown, JSON o HTML. Questi esempi mostrano l’output, non una richiesta reale.


# Wireless Mouse — Model X**$49.00** · Disponibile · 4.6 (1.284 recensioni)Ricevitore da 2.4 GHz a bassa-latency, autonomia di 70-daye switch silenziosi.| Spec | Value || --------- | ------------ || Connessione| 2.4 GHz, BT5 || Batteria | 70 giorni |Senza menu, footer e pubblicità: dal 3% al 24% dei token dell’HTML grezzo. Pagina di esempio.
La risposta completa: stato, URL, motore e dati. Pagina di esempio.
Info sulla pagina, regole CSS o un JSON Schema con selettori. Pagina di esempio.
Passaggi da eseguire sulla pagina, con il rendering con browser completo.
Come funziona
- Invia l’URL della pagina a
POST /v1/scrapeconjs_render: true. - Attendi il contenuto. Imposta
wait_forsu un selettore CSS, ad esempio.price. - Ottieni la pagina renderizzata nel formato che scegli. Gli esempi qui sotto restituiscono Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "js_render": True, "wait_for": ".price", "response_format": "markdown"},
timeout=180,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", js_render: true, wait_for: ".price", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --render --wait-for .price --format markdown --metaTieni la chiave in SPICRAWL_API_KEY. Non metterla mai nel codice del browser né in un file che committi.
Quando fare il rendering JavaScript
Una richiesta semplice scarica l’HTML senza eseguire gli script. Se il risultato è un guscio vuoto o un messaggio “Loading…”, la pagina potrebbe richiedere JavaScript. Imposta js_render: true per eseguirla in un browser prima di leggerla.
Usa una richiesta semplice per il contenuto già presente nell’HTML. Il rendering serve anche per azioni del browser, blocco delle risorse e cattura di rete.
Attendi il contenuto giusto
| Opzione | Cosa fa |
|---|---|
wait_for | Attendi che un selettore CSS compaia prima della cattura. |
wait_for_timeout | Imposta il limite di attesa da 0 a 120.000 ms. Richiede wait_for; 0 usa il valore predefinito. |
wait | Aggiungi un ritardo fisso da 0 a 30.000 ms dopo il caricamento. Quando puoi, preferisci un selettore. |
block_resources | Scegli quali asset saltare. Immagini e font sono bloccati per impostazione predefinita, con eccezioni per azioni e catture. |
response_format | Scegli Markdown, JSON o HTML per il contenuto della pagina. |
Un elenco esplicito di risorse sostituisce quello predefinito. Usa ["none"] per non bloccare nulla. Non bloccare gli script quando la pagina ne ha bisogno per costruire il contenuto.
Controlla il risultato
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3X-Engine indica quale livello di rendering è stato eseguito (fetch, js o browser). X-Target-Status è lo stato del sito, mentre X-Credits-Charged mostra l’addebito.
Se wait_for non trova mai corrispondenza, la pagina può tornare così com’era con X-Warning: RENDER_DEGRADED. Controlla il contenuto e l’avviso prima di usarla.
Livelli di rendering e costo
- Gratis durante la beta. I crediti mostrano il costo di ogni richiesta.
- Rendering JavaScript:
js_render: truecosta 3 crediti per ogni richiesta riuscita. - Rendering con browser completo: costa 8 crediti. Screenshot, PDF e azioni lo usano, e Spicrawl indirizza lì la richiesta per te. Se un deployment non riesce a servire il livello abituale, può usare quello successivo e restituire
X-Warning: ENGINE_SUBSTITUTED; impostamax_costper rifiutare un prezzo più alto. - Non scegli tu il livello. Spicrawl lo sceglie in base a ciò che serve alla richiesta e fattura il livello che l’ha servita.
- I fallimenti costano 0. Attesa e blocco delle risorse non aggiungono costi. Imposta
max_costper limitare una richiesta.
Da sapere
- Scegli il rendering o la modalità auto.
mode: "auto"non si può combinare conjs_render. Parte da fetch e passa al rendering JavaScript, poi al rendering con browser completo, solo quando il passaggio precedente incontra una challenge. - I flag del browser richiedono un browser. Inviare
wait_for, azioni o blocco delle risorse senzajs_renderrestituisce un errore. - Nessun crawling. Invia gli URL che vuoi; Spicrawl non trova pagine né segue link.
- In arrivo: proxy gestiti, modalità stealth, un browser remoto ed estrazione da un prompt in linguaggio naturale.
- La tua responsabilità: recupera solo pagine che hai il diritto di usare. Leggi i nostri termini.
Domande frequenti
Come faccio scraping di un sito JavaScript?
Invia l’URL della pagina a POST https://api.spicrawl.com/v1/scrape con js_render impostato su true. Il browser esegue gli script prima che Spicrawl legga la pagina. Scegli response_format per Markdown, JSON o HTML.
Come aspetto che il contenuto si carichi?
Imposta wait_for su un selettore CSS, come .price. Usa wait_for_timeout per impostare un timeout fino a 120000 millisecondi. Se il selettore non corrisponde mai, la pagina potrebbe tornare così com’era con X-Warning: RENDER_DEGRADED. Controlla l’avviso prima di usare il risultato.
Quanto costa il rendering JavaScript?
Spicrawl è gratis durante la beta. I render JavaScript riusciti usano 3 crediti; il rendering con browser completo ne usa 8. Se un deployment non riesce a servire il rendering JavaScript, js_render può essere servito dal rendering con browser completo e fatturato a quel prezzo. Le richieste fallite usano 0 crediti. Leggi X-Engine (fetch, js o browser) e X-Credits-Charged per verificare cosa è stato eseguito.
Posso usare la modalità auto con il rendering JavaScript?
No. mode: auto non può essere combinato con js_render. La modalità auto parte da una richiesta semplice e sale al rendering JavaScript, poi al rendering con browser completo, quando il risultato è inutilizzabile. Per le pagine che sai richiedere JavaScript, usa invece js_render: true.
Può fare il crawl di un sito JavaScript?
No. Spicrawl non trova gli URL né segue i link. Invia gli URL delle pagine che vuoi leggere. Recupera solo pagine che hai il diritto di usare.