Spicrawl ora funziona con OpenAI Agents SDK, LangChain, Codex, Claude Code e altri.Vedi le integrazioni
Vai al contenuto

Scraping di siti JavaScript

Invia un URL che richiede JavaScript. Ottieni la pagina come Markdown o JSON pulito.

Pannello di controllo di Spicrawl
Escalation automatica
Browser
Fingerprint
Proxy
Proxy gestiti: in arrivo
Sessione
Azioni
Blocca gli asset
Cattura di rete
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
Esempio di header di risposta
X-Target-Status
200
X-Engine
js
X-Proxy-Source
diretto
Cache-State
hit
X-Credits-Charged
3
Browser

Esegui il rendering JavaScript in un browser reale prima che la pagina venga letta.

Solo un esempio, non una richiesta reale. La beta è gratuita.

Una pagina renderizzata, nel formato che ti serve

Guarda come il contenuto di una pagina diventa Markdown, JSON o HTML. Questi esempi mostrano l’output, non una richiesta reale.

example.com/product/1
Scopri Model X — Precisione in ogni click
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00Disponibile★ 4.6 (1,284)
Ricevitore a bassa latenza da 2.4 GHz, 70 giorni di autonomia della batteria e switch silenziosi.
SpecificaValore
Connessione2.4 GHz, BT5Batteria70 giorni
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · Disponibile · 4.6 (1.284 recensioni)Ricevitore da 2.4 GHz a bassa-latency, autonomia di 70-daye switch silenziosi.| Spec      | Value        || --------- | ------------ || Connessione| 2.4 GHz, BT5 || Batteria  | 70 giorni    |
Lettura della pagina
HTML grezzo12.480 token
Markdown0 token

Senza menu, footer e pubblicità: dal 3% al 24% dei token dell’HTML grezzo. Pagina di esempio.

Come funziona

  1. Invia l’URL della pagina a POST /v1/scrape con js_render: true.
  2. Attendi il contenuto. Imposta wait_for su un selettore CSS, ad esempio .price.
  3. Ottieni la pagina renderizzata nel formato che scegli. Gli esempi qui sotto restituiscono Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

Tieni la chiave in SPICRAWL_API_KEY. Non metterla mai nel codice del browser né in un file che committi.

Quando fare il rendering JavaScript

Una richiesta semplice scarica l’HTML senza eseguire gli script. Se il risultato è un guscio vuoto o un messaggio “Loading…”, la pagina potrebbe richiedere JavaScript. Imposta js_render: true per eseguirla in un browser prima di leggerla.

Usa una richiesta semplice per il contenuto già presente nell’HTML. Il rendering serve anche per azioni del browser, blocco delle risorse e cattura di rete.

Attendi il contenuto giusto

OpzioneCosa fa
wait_forAttendi che un selettore CSS compaia prima della cattura.
wait_for_timeoutImposta il limite di attesa da 0 a 120.000 ms. Richiede wait_for; 0 usa il valore predefinito.
waitAggiungi un ritardo fisso da 0 a 30.000 ms dopo il caricamento. Quando puoi, preferisci un selettore.
block_resourcesScegli quali asset saltare. Immagini e font sono bloccati per impostazione predefinita, con eccezioni per azioni e catture.
response_formatScegli Markdown, JSON o HTML per il contenuto della pagina.

Un elenco esplicito di risorse sostituisce quello predefinito. Usa ["none"] per non bloccare nulla. Non bloccare gli script quando la pagina ne ha bisogno per costruire il contenuto.

Controlla il risultato

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine indica quale livello di rendering è stato eseguito (fetch, js o browser). X-Target-Status è lo stato del sito, mentre X-Credits-Charged mostra l’addebito.

Se wait_for non trova mai corrispondenza, la pagina può tornare così com’era con X-Warning: RENDER_DEGRADED. Controlla il contenuto e l’avviso prima di usarla.

Livelli di rendering e costo

  • Gratis durante la beta. I crediti mostrano il costo di ogni richiesta.
  • Rendering JavaScript: js_render: true costa 3 crediti per ogni richiesta riuscita.
  • Rendering con browser completo: costa 8 crediti. Screenshot, PDF e azioni lo usano, e Spicrawl indirizza lì la richiesta per te. Se un deployment non riesce a servire il livello abituale, può usare quello successivo e restituire X-Warning: ENGINE_SUBSTITUTED; imposta max_cost per rifiutare un prezzo più alto.
  • Non scegli tu il livello. Spicrawl lo sceglie in base a ciò che serve alla richiesta e fattura il livello che l’ha servita.
  • I fallimenti costano 0. Attesa e blocco delle risorse non aggiungono costi. Imposta max_cost per limitare una richiesta.

Da sapere

  • Scegli il rendering o la modalità auto. mode: "auto" non si può combinare con js_render. Parte da fetch e passa al rendering JavaScript, poi al rendering con browser completo, solo quando il passaggio precedente incontra una challenge.
  • I flag del browser richiedono un browser. Inviare wait_for, azioni o blocco delle risorse senza js_render restituisce un errore.
  • Nessun crawling. Invia gli URL che vuoi; Spicrawl non trova pagine né segue link.
  • In arrivo: proxy gestiti, modalità stealth, un browser remoto ed estrazione da un prompt in linguaggio naturale.
  • La tua responsabilità: recupera solo pagine che hai il diritto di usare. Leggi i nostri termini.

Domande frequenti

Come faccio scraping di un sito JavaScript?

Invia l’URL della pagina a POST https://api.spicrawl.com/v1/scrape con js_render impostato su true. Il browser esegue gli script prima che Spicrawl legga la pagina. Scegli response_format per Markdown, JSON o HTML.

Come aspetto che il contenuto si carichi?

Imposta wait_for su un selettore CSS, come .price. Usa wait_for_timeout per impostare un timeout fino a 120000 millisecondi. Se il selettore non corrisponde mai, la pagina potrebbe tornare così com’era con X-Warning: RENDER_DEGRADED. Controlla l’avviso prima di usare il risultato.

Quanto costa il rendering JavaScript?

Spicrawl è gratis durante la beta. I render JavaScript riusciti usano 3 crediti; il rendering con browser completo ne usa 8. Se un deployment non riesce a servire il rendering JavaScript, js_render può essere servito dal rendering con browser completo e fatturato a quel prezzo. Le richieste fallite usano 0 crediti. Leggi X-Engine (fetch, js o browser) e X-Credits-Charged per verificare cosa è stato eseguito.

Posso usare la modalità auto con il rendering JavaScript?

No. mode: auto non può essere combinato con js_render. La modalità auto parte da una richiesta semplice e sale al rendering JavaScript, poi al rendering con browser completo, quando il risultato è inutilizzabile. Per le pagine che sai richiedere JavaScript, usa invece js_render: true.

Può fare il crawl di un sito JavaScript?

No. Spicrawl non trova gli URL né segue i link. Invia gli URL delle pagine che vuoi leggere. Recupera solo pagine che hai il diritto di usare.