Domande frequenti
Risposte rapide su Spicrawl, dai prezzi ai proxy.
Tutte le domande
Generale
Che cos’è Spicrawl?
Spicrawl è un’API di web scraping che trasforma qualsiasi URL in Markdown, HTML, PDF o JSON strutturato puliti per il tuo codice o agente AI, tramite API, CLI o server MCP.
Spicrawl è gratuito?
Sì. È gratis durante la beta, con 1.000 crediti al mese e senza carta di credito.
Cosa significa Spicrawl?
Il nome unisce "spider" e "crawl", ed è per questo che il nostro logo è un ragno. Si scrive S-P-I-C-R-A-W-L. Spicrawl è un’API di web scraping: invii gli URL che vuoi e restituisce dati puliti.
Perché non usare il web fetch integrato del mio assistente AI?
Gli strumenti di fetch integrati vanno bene per uno sguardo veloce, ma spesso restituiscono testo grezzo o troncato e potrebbero non eseguire JavaScript. Spicrawl restituisce Markdown o JSON pulito, esegue il rendering JavaScript quando una pagina lo richiede, mantiene le sessioni di login, esegue click e input nei form e raggruppa fino a 10.000 URL in un solo job. Il tuo agente ottiene il contenuto della pagina, non i suoi menu e script.
Il web scraping è legale?
Dipende da cosa raccogli, da dove ti trovi e da come lo usi. Fare scraping di pagine pubblicamente disponibili è comune, ma sei tu responsabile di rispettare i termini di ogni sito, il copyright e le leggi sulla protezione dei dati come il GDPR, soprattutto per i dati personali. Se hai dubbi, chiedi a un avvocato del tuo caso specifico.
Scraping e dati
Posso fare scraping di siti JavaScript?
Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.
Spicrawl riesce a superare protezioni anti-bot come Cloudflare?
Spesso, ma non sempre. Usa un fingerprint di browser reale, il rendering nel browser o il tuo proxy. Una challenge anti-bot restituisce un errore chiaro e non costa nulla. Modalità stealth e proxy gestiti non sono nella beta.
Come trasformo un sito web in Markdown per un LLM?
Invia l’URL con response_format impostato su markdown. Spicrawl restituisce il contenuto principale della pagina come Markdown, senza menu, footer e aside, il che di solito richiede una frazione dei token dell’HTML grezzo. Fa il parsing anche dei PDF, e la conversione in Markdown non costa nulla in più.
Posso estrarre dati strutturati come JSON?
Sì, in tre modi: autoparse legge i metadati della pagina stessa, una mappa di selettori estrae campi precisi e un JSON Schema con selettori restituisce un output tipizzato e validato. Tutti e tre sono gratuiti oltre al prezzo del motore. L’estrazione da una descrizione in linguaggio naturale, tramite un modello, è in arrivo.
Posso fare scraping di molti URL in una volta?
Sì. Un batch job accetta fino a 10.000 URL per chiamata e li esegue in parallelo. Controlli l’avanzamento, poi scarichi i risultati come JSON Lines. I risultati vengono conservati per 72 ore.
Posso mantenere una sessione di login?
Sì. Crea una sessione e passa il suo id a ogni richiesta per riutilizzare gli stessi cookie, lo stesso storage del browser e lo stesso IP di uscita, così un login resta valido tra una pagina e l’altra. Un’organizzazione può avere fino a 100 sessioni attive alla volta.
Posso automatizzare click e form?
Sì. Le azioni del browser possono fare click, digitare, selezionare, scorrere, attendere ed eseguire JavaScript su una pagina renderizzata prima che venga catturata, con fino a 50 passaggi per richiesta.
Posso usare i proxy?
Sì. Porta il tuo proxy senza alcun sovrapprezzo sul proxy. I proxy gestiti e il targeting per paese integrato sono in arrivo e non sono disponibili durante la beta.
Agenti AI e sviluppatori
Posso usare Spicrawl con gli agenti AI?
Sì. Il server MCP ospitato permette a Claude Code, Cursor e Codex di fare scraping di pagine, eseguire batch, riutilizzare sessioni ed eseguire azioni del browser. Esegui spicrawl init per configurarlo.
Quali linguaggi di programmazione posso usare?
Qualsiasi linguaggio in grado di inviare una richiesta HTTP. La documentazione include esempi in cURL, Python e TypeScript, e c’è un SDK JavaScript e TypeScript su npm (@spicrawl/sdk) per Node.js 18 e versioni successive. La CLI spicrawl funziona da qualsiasi shell o script.
Esiste una CLI o una dashboard?
Entrambi. Una CLI copre scraping, batch, sessioni, log e utilizzo, e la dashboard ha un playground, log delle attività, utilizzo e gestione delle chiavi.
Crediti e limiti
Le richieste fallite costano crediti?
No. Solo le richieste riuscite costano crediti: 1 per una semplice, 3 per il rendering JavaScript e 8 per un browser completo. Errori, challenge anti-bot e timeout sono gratuiti.
Ci sono limiti di frequenza?
Sì. Ogni chiave API ha una frequenza di richieste, ogni organizzazione ha un limite alle richieste in esecuzione contemporaneamente e c’è una quota mensile di crediti. Ogni risposta riporta i tuoi limiti attuali negli header, e una richiesta rifiutata da un limite non costa nulla.
Ancora bloccato? Leggi la documentazione o scrivi a support@spicrawl.com.