Spicrawl के साथ LangChain web scraping
LangChain agent को Spicrawl MCP server से connect करें। फिर agent web pages को Markdown में पढ़ सकता है।
Set up करें
langchain-mcp-adaptersऔरlangchain[openai]install करें।SPICRAWL_API_KEYऔर अपने model provider की key (OPENAI_API_KEYयहाँ) set करें।एक
spicrawlentry के साथ एकMultiServerMCPClientबनाएँ।"transport": "streamable_http"औरheadersconnection set up करते हैं।सिर्फ़ ज़रूरी tools रखें, और
create_agentसे एक LangGraph agent बनाएँ।
उदाहरण: एक pricing page पढ़ें
import asyncio
import os
from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient
async def main() -> None:
client = MultiServerMCPClient(
{
"spicrawl": {
"transport": "streamable_http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
}
}
)
keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
tools = [t for t in await client.get_tools() if t.name in keep]
agent = create_agent("openai:gpt-4.1", tools)
result = await agent.ainvoke(
{"messages": "Read https://example.com/pricing as markdown and list the plans."}
)
print(result["messages"][-1].content)
asyncio.run(main())डिफ़ॉल्ट रूप से हर tool call अपना MCP session खोलती है। spicrawl_scrape के लिए यह ठीक है, जो stateless है। Server में OAuth नहीं है, इसलिए key हमेशा headers में भेजें।
Tool list छोटी रखें
सभी 25 tool schemas हर model call पर भेजे जाते हैं। इससे prompt की कीमत बढ़ती है और model उलझ सकता है। spicrawl_scrape रखें, और कई URLs के लिए spicrawl_batch_submit, spicrawl_batch_status और spicrawl_batch_results जोड़ें।
अगर आपका code पहले से जानता है कि कौन-सा URL fetch करना है, तो शायद आपको MCP की ज़रूरत ही न पड़े। POST /v1/scrape को call करने वाले एक सादे function में tool-schema tokens नहीं लगते और उसे test करना आसान है।
यह क्या कर सकता है
Server agent को 25 spicrawl_* tools देता है। हर call आपकी API key के तहत चलती है, उन्हीं limits और credits के साथ जो सीधी API call में होते हैं।
- एक page पढ़ें:
spicrawl_scrapeMarkdown (default), text, HTML, JSON या PDF लौटाता है। - कई pages पढ़ें:
spicrawl_batch_submitएक बार में 10,000 URLs तक queue करता है। इसके बादspicrawl_batch_statusऔरspicrawl_batch_resultsचलाएँ। - Login के पीछे के pages:
spicrawl_session_createcalls के बीच cookies और storage बनाए रखता है। - Failure debug करें:
spicrawl_requests_listऔरspicrawl_request_get। - Usage जाँचें:
spicrawl_usage_summaryऔर बाकी usage tools। इनके लिएreadscope वाली key चाहिए। - चीज़ें खोजें:
spicrawl_docs_searchऔरspicrawl_docs_readSpicrawl docs खोजते और पढ़ते हैं।
एक tool, spicrawl_browser_connect_url, listed है लेकिन जल्द आ रहा है। spicrawl_scrape पर rendering argument render है, न कि API का js_render।
जानने लायक बातें
- Crawling नहीं। Spicrawl links follow नहीं करता और pages नहीं ढूँढता। Agent को URLs दें।
- प्रति request credits। Plain fetch 1 credit का है। JavaScript rendering 3 का। Full-browser rendering 8 का।
- Failures free हैं। Fail हुई request की कीमत 0 credits है।
- Cache समय बचाता है, credits नहीं। Cache हिट की कीमत उसी fetch जितनी है जिसने उसे store किया था।
- हर call की सीमा तय करें।
max_costset करें, और जो request ज़्यादा खर्च कर सकती है उसे चलने से पहले ही refuse कर दिया जाता है। - जल्द आ रहा है: managed proxies, stealth mode, एक remote browser और एक plain-language prompt से AI extraction। आज आप अपना proxy ला सकते हैं।
अक्सर पूछे जाने वाले सवाल
मुझे कौन से packages चाहिए?
langchain-mcp-adapters और langchain[openai]। Example चलाने से पहले SPICRAWL_API_KEY और OPENAI_API_KEY सेट करें।
क्या मुझे agent को सभी 25 tools देने चाहिए?
आम तौर पर नहीं। सभी tool schemas हर model call पर भेजे जाते हैं। spicrawl_scrape रखें, और कई URLs के लिए spicrawl_batch_submit, spicrawl_batch_status और spicrawl_batch_results।
क्या हर tool call एक नया session खोलता है?
हाँ, default रूप से। spicrawl_scrape के लिए यह ठीक है, जो stateless है। अगर आप हर run के लिए एक session चाहते हैं, तो adapter का README देखें, client.session("spicrawl") के लिए।
क्या मुझे MCP इस्तेमाल करना चाहिए या API सीधे call करनी चाहिए?
जब model तय करता है कि क्या fetch करना है तब MCP इस्तेमाल करें। जब आपका code पहले से URL जानता हो, तो POST /v1/scrape call करने वाला plain function ज़्यादा सरल है और इसमें tool-schema tokens नहीं लगते।
हर page की कीमत कितनी है?
Plain fetch की कीमत 1 credit है, JavaScript rendering की 3 और full-browser rendering की 8। Failed requests की कीमत 0। Cache hit की कीमत उतनी ही है जितनी उस fetch की जिसने इसे store किया। Agent से हर request पर max_cost सेट करने को कहें ताकि वह आपकी उम्मीद से ज़्यादा खर्च न करे।