Web scraping con LangChain e Spicrawl
Collega un agente LangChain al server MCP di Spicrawl. L’agente potrà così leggere le pagine web come Markdown.
Configuralo
Installa
langchain-mcp-adapterselangchain[openai].Imposta
SPICRAWL_API_KEYe la chiave del tuo provider di modelli (OPENAI_API_KEYqui).Crea un
MultiServerMCPClientcon una sola vocespicrawl."transport": "streamable_http"eheadersimpostano la connessione.Tieni solo gli strumenti che ti servono e costruisci un agente LangGraph con
create_agent.
Esempio: leggere una pagina dei prezzi
import asyncio
import os
from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient
async def main() -> None:
client = MultiServerMCPClient(
{
"spicrawl": {
"transport": "streamable_http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
}
}
)
keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
tools = [t for t in await client.get_tools() if t.name in keep]
agent = create_agent("openai:gpt-4.1", tools)
result = await agent.ainvoke(
{"messages": "Read https://example.com/pricing as markdown and list the plans."}
)
print(result["messages"][-1].content)
asyncio.run(main())Di default, ogni chiamata a uno strumento apre una propria sessione MCP. Va bene per spicrawl_scrape, che è stateless. Il server non ha OAuth, quindi invia sempre la chiave in headers.
Tieni breve l’elenco dei tool
Tutti i 25 schemi degli strumenti vengono inviati a ogni chiamata al modello. Questo aumenta il costo del prompt e può confondere il modello. Tieni spicrawl_scrape e, per molti URL, aggiungi spicrawl_batch_submit, spicrawl_batch_status e spicrawl_batch_results.
Se il tuo codice sa già quale URL recuperare, forse non ti serve affatto MCP. Una semplice funzione che chiama POST /v1/scrape non costa token di schema degli strumenti ed è più facile da testare.
Cosa può fare
Il server offre all’agente 25 strumenti spicrawl_*. Ogni chiamata viene eseguita con la tua chiave API, con gli stessi limiti e crediti di una chiamata diretta all’API.
- Leggi una pagina:
spicrawl_scraperestituisce Markdown (predefinito), testo, HTML, JSON o PDF. - Leggi molte pagine:
spicrawl_batch_submitmette in coda fino a 10.000 URL. Poi usaspicrawl_batch_statusespicrawl_batch_results. - Pagine dietro un login:
spicrawl_session_createmantiene cookie e storage tra una chiamata e l’altra. - Fai il debug di un errore:
spicrawl_requests_listespicrawl_request_get. - Controlla l’utilizzo:
spicrawl_usage_summarye gli altri strumenti di utilizzo. Richiedono una chiave con lo scoperead. - Cerca informazioni:
spicrawl_docs_searchespicrawl_docs_readcercano e leggono nella documentazione di Spicrawl.
Uno strumento, spicrawl_browser_connect_url, è elencato ma in arrivo. Su spicrawl_scrape, l’argomento di rendering è render, non js_render come nell’API.
Da sapere
- Nessun crawling. Spicrawl non segue link né trova pagine. Dai all’agente gli URL.
- Crediti per richiesta. Un fetch semplice costa 1 credito. Il rendering JavaScript 3. Il rendering con browser completo 8.
- I fallimenti sono gratuiti. Una richiesta fallita costa 0 crediti.
- La cache fa risparmiare tempo, non crediti. La cache fa risparmiare tempo, non crediti.
- Limita ogni chiamata. Imposta
max_cost, e una richiesta che potrebbe costare di più viene rifiutata prima di essere eseguita. - In arrivo: proxy gestiti, modalità stealth, un browser remoto ed estrazione con AI da un prompt in linguaggio naturale. Oggi puoi usare il tuo proxy.
Domande frequenti
Di quali pacchetti ho bisogno?
langchain-mcp-adapters e langchain[openai]. Imposta SPICRAWL_API_KEY e OPENAI_API_KEY prima di eseguire l’esempio.
Devo dare all’agente tutti i 25 tool?
Di solito no. Tutti gli schemi dei tool vengono inviati a ogni chiamata al modello. Tieni spicrawl_scrape e, per molti URL, spicrawl_batch_submit, spicrawl_batch_status e spicrawl_batch_results.
Ogni chiamata a un tool apre una nuova sessione?
Sì, per impostazione predefinita. Va bene per spicrawl_scrape, che è stateless. Vedi il README dell’adapter per client.session("spicrawl") se vuoi una sessione per esecuzione.
Devo usare MCP o chiamare direttamente l’API?
Usa MCP quando è il modello a decidere cosa recuperare. Quando il tuo codice conosce già l’URL, una semplice funzione che chiama POST /v1/scrape è più semplice e non costa token per gli schemi dei tool.
Quanto costa ogni pagina?
Un fetch semplice costa 1 credito, il rendering JavaScript 3 e il rendering con browser completo 8. Le richieste fallite costano 0. Un cache hit costa quanto il fetch che l’ha salvato. Chiedi all’agente di impostare max_cost su ogni richiesta così non spende mai più del previsto.