Spicrawl ora funziona con OpenAI Agents SDK, LangChain, Codex, Claude Code e altri.Vedi le integrazioni
Vai al contenuto

Converti qualsiasi sito web in Markdown pulito per LLM

Invia un URL, ottieni il contenuto principale della pagina come Markdown: titoli, elenchi, link, tabelle e codice, senza la navigazione, gli script e il footer che sprecano i token di un LLM.

https://
Formato: Markdown Solo contenuto principale

Come funziona

  1. Invia un URL all’endpoint di scrape con response_format: "markdown".
  2. Spicrawl recupera la pagina, eseguendo il rendering JavaScript se lo chiedi, e mantiene il contenuto principale.
  3. Ottieni Markdown come corpo della risposta, pronto per un prompt, un indice RAG o un file.
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'

Imposta la chiave una volta con SPICRAWL_API_KEY e non scriverla mai nel codice che committi. Il formato predefinito dell’API è HTML, quindi imposta sempre response_format.

Da HTML a Markdown

Una pagina tipica avvolge pochi paragrafi in navigazione, script e markup del footer. Spicrawl mantiene il contenuto e la sua struttura:

html
<header><nav>… 40 links …</nav></header>
<main>
  <article>
    <h1>Pricing update for 2026</h1>
    <p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
    <table>
      <tr><th>Plan</th><th>Price</th></tr>
      <tr><td>Starter</td><td>$29</td></tr>
      <tr><td>Scale</td><td>$199</td></tr>
    </table>
  </article>
</main>
<footer>… cookie banner, scripts, tracking …</footer>
markdown
# Pricing update for 2026

From 1 March, the Starter plan includes 50,000 requests per month.

| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |

Titoli, elenchi, link, tabelle e blocchi di codice sopravvivono alla conversione. Layout, stile e parti interattive no. Nelle le nostre misurazioni su sei pagine reali, il Markdown di Spicrawl ha usato dal 53% al 97% di token in meno rispetto all’HTML delle stesse pagine.

Opzioni che riducono i token

CampoCosa fa
response_formatmarkdown mantiene titoli, link e tabelle; text elimina tutta la sintassi Markdown.
main_content_onlyAttivo di default per Markdown: navigazione, footer e aside vengono rimossi. Imposta false per mantenere l’intera pagina.
include_tagsSelettori CSS da mantenere. Solo le parti corrispondenti della pagina vengono convertite.
exclude_tagsSelettori CSS da rimuovere, come banner dei cookie o elenchi di articoli correlati.
js_renderCarica prima la pagina in un browser, per i contenuti costruiti con JavaScript.
linksRestituisce anche i link della pagina come elenco separato, in una risposta JSON.

I filtri sui tag vengono eseguiti prima della conversione, quindi ciò che rimuovi non raggiunge mai il tuo modello:

json
{
  "url": "https://example.com/docs/install",
  "response_format": "markdown",
  "include_tags": ["article", ".docs-content"],
  "exclude_tags": [".cookie-banner", "aside.related"]
}

Pagine JavaScript e PDF

Parti da una richiesta semplice (1 credito). Se il risultato è un guscio vuoto o un messaggio di caricamento, inviala di nuovo con js_render: true (3 crediti) così la pagina viene eseguita in un browser prima della conversione. Imposta max_cost sul passaggio che intendi usare, così una richiesta non costa mai più del previsto.

Quando l’URL è un PDF, Spicrawl lo converte in testo semplice al prezzo normale. Titoli e tabelle non vengono ricostruiti, e i PDF scansionati o cifrati non restituiscono testo.

Converti molte pagine

Un batch job accetta fino a 10.000 URL per chiamata, li esegue in parallelo e può restituire ognuno come Markdown. I risultati vengono conservati per 72 ore.

bash
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls": ["https://example.com/1", "https://example.com/2"],
       "response_format": "markdown"}'

Spicrawl converte gli URL che invii. Non fa il crawl di un sito né scopre le pagine per te, quindi raccogli prima gli URL, ad esempio dalla sitemap del sito.

Da un agente AI

Gli agenti possono richiamare la stessa conversione tramite il Server MCP di Spicrawl: lo strumento spicrawl_scrape restituisce Markdown di default. La CLI spicrawl fa lo stesso da un terminale o da uno script.

Un’API di conversione o una libreria da HTML a Markdown?

Se hai già l’HTML, una libreria open source come Turndown lo converte gratis nel tuo codice. Devi comunque recuperare la pagina, eseguirne il JavaScript, superare le pagine che rifiutano richieste semplici e togliere tu la navigazione. Spicrawl esegue questi passaggi in una sola richiesta, il che conta soprattutto quando converti pagine di molti siti diversi.

Da sapere

  • Controlla lo stato del sito. Lo stato HTTP è quello di Spicrawl. Lo stato della pagina è nell’header X-Target-Status: un sito che risponde 403 torna comunque come HTTP 200, e costa 0 crediti.
  • Controlla un campione. L’isolamento del contenuto principale funziona sulla maggior parte delle pagine, ma con layout insoliti può restare un po’ di navigazione. Guarda una pagina per ogni tipo prima di indicizzarne migliaia.
  • Prezzi. Gratis durante la beta, senza carta di credito. Una richiesta semplice costa 1 credito, il rendering JavaScript 3, il rendering con browser completo 8. La conversione in Markdown non aggiunge nulla, e le richieste fallite o bloccate costano 0.

Domande frequenti

Come converto un sito web in Markdown?

Invia una richiesta POST a https://api.spicrawl.com/v1/scrape con l’URL della pagina e response_format impostato su markdown. Il corpo della risposta è il Markdown stesso. Puoi anche usare la CLI spicrawl (spicrawl scrape URL --format markdown) o il tool MCP spicrawl_scrape da un agente AI.

Rimuove navigazione, annunci e footer?

Sì. Per il Markdown, l’isolamento del contenuto principale è attivo per impostazione predefinita, quindi navigazione, footer e aside vengono rimossi. Puoi restringere ulteriormente con include_tags e exclude_tags, oppure impostare main_content_only su false per mantenere l’intera pagina. In layout insoliti può comunque restare un po’ di navigazione, quindi controlla un campione di ogni tipo di pagina.

Può convertire pagine che usano molto JavaScript?

Sì. Imposta js_render su true e la pagina viene caricata in un browser prima della conversione. Parti da una richiesta semplice, che costa 1 credito, ed esegui il rendering solo quando il risultato semplice è vuoto o incompleto; il rendering costa 3 crediti.

Può convertire i PDF in Markdown?

Un PDF viene convertito in testo semplice quando chiedi markdown o text, al prezzo normale. Titoli e tabelle non vengono ricostruiti, e i PDF scansionati o cifrati non restituiscono testo.

Quanto costa?

Spicrawl è gratis durante la beta, senza carta di credito. Le richieste usano crediti: 1 per una richiesta semplice, 3 per il rendering JavaScript e 8 per il rendering con browser completo. La conversione in Markdown non costa nulla in più e le richieste fallite o bloccate costano 0.

Posso convertire molte pagine in una volta?

Sì. Un batch job accetta fino a 10.000 URL per chiamata e può restituire ognuno come Markdown. Spicrawl non scopre le pagine per te: invii gli URL che vuoi, ad esempio da una sitemap.