Clicca, scrivi e scorri prima dello scraping
Apri menu, compila form e carica altro. Poi leggi la pagina.
- 1ClickApri un menu o premi “Load more”
- 2DigitaCompila un form o una casella di ricerca
- 3ScorriCarica il resto del feed
- 4LeggiOttieni la pagina come Markdown
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com", "js_render": true, "response_format": "markdown", "actions": [ { "click": "#accept" }, { "fill": { "selector": "#search", "value": "shoes" } }, { "scroll": { "y": 800 } } ] }'Come funziona
- Attiva il rendering con
js_render: true. Le azioni richiedono un browser. - Elenca i tuoi passaggi in
actions. Vengono eseguiti in ordine dopo il caricamento della pagina. - Ottieni la pagina così come appare dopo l’ultimo passaggio, nel formato che hai scelto.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products?category=lamps",
"js_render": true,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"}
]
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products?category=lamps",
"js_render": True,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"},
],
},
timeout=180,
)
print(r.text)spicrawl scrape "https://example.com/products?category=lamps" --render --format markdown \
--actions '[{"click":"button.load-more"},{"wait_for":".product-card:nth-child(40)"}]'Passaggi che puoi usare
| Passaggio | Cosa fa |
|---|---|
wait_for | Attende un elemento, o un tempo stabilito |
click | Clicca un pulsante o un link |
fill | Scrive in un campo di input. Aggiungi secret: true per nascondere il valore dai log |
select | Sceglie un’opzione in un elenco |
scroll | Scorre la pagina, per i feed che caricano altro man mano |
evaluate | Esegue il tuo JavaScript sulla pagina |
screenshot | Salva un’immagine della pagina a quel passaggio |
Da sapere
- Fino a 50 passaggi per richiesta. L’intero elenco viene controllato prima che venga speso qualsiasi credito.
- Solo browser. Solo con browser. Senza
js_render, la richiesta viene rifiutata con un 400. - Non nei batch. Le azioni funzionano solo sugli scrape singoli.
- Login: accedi solo ad account di tua proprietà o che sei autorizzato a usare. Per restare connesso, usa una sessione.
- Prezzi: gratis durante la beta. Le azioni vengono eseguite con il rendering con browser completo, che costa 8 crediti.
Domande frequenti
Cosa possono fare le azioni del browser?
Attendi un elemento, attendi la navigazione, clicca, compila un input, seleziona un’opzione, scorri, esegui JavaScript e fai uno screenshot. I passaggi vengono eseguiti in ordine dopo il caricamento della pagina.
Quanti passaggi può avere una richiesta?
Fino a 50. L’intero elenco viene controllato prima dell’esecuzione della richiesta, quindi un errore fallisce subito e non costa nulla.
Le azioni del browser richiedono il rendering JavaScript?
Sì. Le azioni vengono eseguite in un browser, quindi imposta js_render su true. Senza, la richiesta viene rifiutata con un 400.
Posso inserire una password in modo sicuro?
Sì. Contrassegna il passaggio fill con secret impostato su true e il valore viene nascosto dai log. Accedi solo ad account di tua proprietà o che sei autorizzato a usare.
Posso ottenere uno screenshot dopo i passaggi?
Sì. Aggiungi un passaggio screenshot. La risposta diventa poi l’envelope JSON, con le immagini sotto screenshots.