Web scraping LangChain dengan Spicrawl
Hubungkan agen LangChain ke server MCP Spicrawl. Agen kemudian dapat membaca halaman web sebagai Markdown.
Siapkan
Instal
langchain-mcp-adaptersdanlangchain[openai].Atur
SPICRAWL_API_KEYdan key penyedia model Anda (OPENAI_API_KEYdi sini).Buat
MultiServerMCPClientdengan satu entrispicrawl."transport": "streamable_http"danheadersmengatur koneksinya.Pertahankan hanya tool yang Anda perlukan, dan bangun agen LangGraph dengan
create_agent.
Contoh: baca halaman harga
import asyncio
import os
from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient
async def main() -> None:
client = MultiServerMCPClient(
{
"spicrawl": {
"transport": "streamable_http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
}
}
)
keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
tools = [t for t in await client.get_tools() if t.name in keep]
agent = create_agent("openai:gpt-4.1", tools)
result = await agent.ainvoke(
{"messages": "Read https://example.com/pricing as markdown and list the plans."}
)
print(result["messages"][-1].content)
asyncio.run(main())Secara default, setiap panggilan tool membuka session MCP-nya sendiri. Itu tidak masalah untuk spicrawl_scrape, yang bersifat stateless. Server tidak memakai OAuth, jadi selalu kirim key di headers.
Jaga daftar tool tetap pendek
Seluruh 25 schema tool dikirim pada setiap panggilan model. Itu menaikkan biaya prompt dan dapat membingungkan model. Pertahankan spicrawl_scrape, dan untuk banyak URL tambahkan spicrawl_batch_submit, spicrawl_batch_status, dan spicrawl_batch_results.
Jika kode Anda sudah tahu URL mana yang akan diambil, Anda mungkin tidak memerlukan MCP sama sekali. Fungsi biasa yang memanggil POST /v1/scrape tidak memakai token schema tool dan lebih mudah diuji.
Apa yang dapat dilakukannya
Server memberi agen 25 tool spicrawl_*. Setiap panggilan berjalan dengan API key Anda, dengan batas dan kredit yang sama seperti panggilan API langsung.
- Baca satu halaman:
spicrawl_scrapemengembalikan Markdown (default), teks, HTML, JSON, atau PDF. - Baca banyak halaman:
spicrawl_batch_submitmengantrekan hingga 10,000 URL. Lanjutkan denganspicrawl_batch_statusdanspicrawl_batch_results. - Halaman di balik login:
spicrawl_session_createmenyimpan cookie dan storage di seluruh panggilan. - Debug kegagalan:
spicrawl_requests_listdanspicrawl_request_get. - Periksa penggunaan:
spicrawl_usage_summarydan tool penggunaan lainnya. Tool ini membutuhkan key dengan scoperead. - Cari informasi:
spicrawl_docs_searchdanspicrawl_docs_readmencari dan membaca dokumentasi Spicrawl.
Satu tool, spicrawl_browser_connect_url, tercantum tetapi segera hadir. Pada spicrawl_scrape, argumen rendering-nya adalah render, bukan js_render milik API.
Perlu diketahui
- Tidak ada crawl. Spicrawl tidak mengikuti tautan atau menemukan halaman. Berikan URL ke agen.
- Kredit per permintaan. Fetch biasa 1 kredit. Rendering JavaScript 3. Rendering browser penuh 8.
- Kegagalan gratis. Permintaan yang gagal berbiaya 0 kredit.
- Cache menghemat waktu, bukan kredit. Cache hit berbiaya sama dengan fetch yang menyimpannya.
- Batasi setiap panggilan. Atur
max_cost, dan permintaan yang bisa berbiaya lebih besar ditolak sebelum dijalankan. - Segera hadir: proxy terkelola, mode stealth, browser jarak jauh, dan ekstraksi AI dari prompt bahasa biasa. Saat ini Anda dapat membawa proxy sendiri.
Pertanyaan yang sering diajukan
Paket mana yang saya butuhkan?
langchain-mcp-adapters dan langchain[openai]. Atur SPICRAWL_API_KEY dan OPENAI_API_KEY sebelum menjalankan contoh.
Haruskah saya memberi agen semua 25 tool?
Biasanya tidak. Semua skema tool dikirim pada setiap panggilan model. Pertahankan spicrawl_scrape, dan untuk banyak URL spicrawl_batch_submit, spicrawl_batch_status, dan spicrawl_batch_results.
Apakah setiap panggilan tool membuka session baru?
Ya, secara default. Itu tidak masalah untuk spicrawl_scrape, yang bersifat stateless. Lihat README adapter untuk client.session("spicrawl") jika Anda ingin satu session per run.
Haruskah saya memakai MCP atau memanggil API langsung?
Gunakan MCP ketika model yang memutuskan apa yang diambil. Ketika kode Anda sudah tahu URL-nya, fungsi biasa yang memanggil POST /v1/scrape lebih sederhana dan tidak memakan token skema tool.
Berapa biaya setiap halaman?
Fetch biasa berbiaya 1 kredit, rendering JavaScript 3, dan rendering browser penuh 8. Permintaan gagal berbiaya 0. Cache hit berbiaya sama dengan fetch yang menyimpannya. Minta agen mengatur max_cost pada setiap permintaan agar tidak pernah menghabiskan lebih dari yang Anda duga.