Spicrawl अब OpenAI Agents SDK, LangChain, Codex, Claude Code और अन्य के साथ काम करता है।Integrations देखें
Content पर जाएँ

Spicrawl के साथ LangChain web scraping

LangChain agent को Spicrawl MCP server से connect करें। फिर agent web pages को Markdown में पढ़ सकता है।

Set up करें

  1. langchain-mcp-adapters और langchain[openai] install करें।

  2. SPICRAWL_API_KEY और अपने model provider की key (OPENAI_API_KEY यहाँ) set करें।

  3. एक spicrawl entry के साथ एक MultiServerMCPClient बनाएँ। "transport": "streamable_http" और headers connection set up करते हैं।

  4. सिर्फ़ ज़रूरी tools रखें, और create_agent से एक LangGraph agent बनाएँ।

उदाहरण: एक pricing page पढ़ें

langchain_example.py
import asyncio
import os

from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient


async def main() -> None:
    client = MultiServerMCPClient(
        {
            "spicrawl": {
                "transport": "streamable_http",
                "url": "https://mcp.spicrawl.com/mcp",
                "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
            }
        }
    )
    keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
    tools = [t for t in await client.get_tools() if t.name in keep]

    agent = create_agent("openai:gpt-4.1", tools)
    result = await agent.ainvoke(
        {"messages": "Read https://example.com/pricing as markdown and list the plans."}
    )
    print(result["messages"][-1].content)


asyncio.run(main())

डिफ़ॉल्ट रूप से हर tool call अपना MCP session खोलती है। spicrawl_scrape के लिए यह ठीक है, जो stateless है। Server में OAuth नहीं है, इसलिए key हमेशा headers में भेजें।

Tool list छोटी रखें

सभी 25 tool schemas हर model call पर भेजे जाते हैं। इससे prompt की कीमत बढ़ती है और model उलझ सकता है। spicrawl_scrape रखें, और कई URLs के लिए spicrawl_batch_submit, spicrawl_batch_status और spicrawl_batch_results जोड़ें।

अगर आपका code पहले से जानता है कि कौन-सा URL fetch करना है, तो शायद आपको MCP की ज़रूरत ही न पड़े। POST /v1/scrape को call करने वाले एक सादे function में tool-schema tokens नहीं लगते और उसे test करना आसान है।

यह क्या कर सकता है

Server agent को 25 spicrawl_* tools देता है। हर call आपकी API key के तहत चलती है, उन्हीं limits और credits के साथ जो सीधी API call में होते हैं।

  • एक page पढ़ें: spicrawl_scrape Markdown (default), text, HTML, JSON या PDF लौटाता है।
  • कई pages पढ़ें: spicrawl_batch_submit एक बार में 10,000 URLs तक queue करता है। इसके बाद spicrawl_batch_status और spicrawl_batch_results चलाएँ।
  • Login के पीछे के pages: spicrawl_session_create calls के बीच cookies और storage बनाए रखता है।
  • Failure debug करें: spicrawl_requests_list और spicrawl_request_get।
  • Usage जाँचें: spicrawl_usage_summary और बाकी usage tools। इनके लिए read scope वाली key चाहिए।
  • चीज़ें खोजें: spicrawl_docs_search और spicrawl_docs_read Spicrawl docs खोजते और पढ़ते हैं।

एक tool, spicrawl_browser_connect_url, listed है लेकिन जल्द आ रहा है। spicrawl_scrape पर rendering argument render है, न कि API का js_render।

जानने लायक बातें

  • Crawling नहीं। Spicrawl links follow नहीं करता और pages नहीं ढूँढता। Agent को URLs दें।
  • प्रति request credits। Plain fetch 1 credit का है। JavaScript rendering 3 का। Full-browser rendering 8 का।
  • Failures free हैं। Fail हुई request की कीमत 0 credits है।
  • Cache समय बचाता है, credits नहीं। Cache हिट की कीमत उसी fetch जितनी है जिसने उसे store किया था।
  • हर call की सीमा तय करें। max_cost set करें, और जो request ज़्यादा खर्च कर सकती है उसे चलने से पहले ही refuse कर दिया जाता है।
  • जल्द आ रहा है: managed proxies, stealth mode, एक remote browser और एक plain-language prompt से AI extraction। आज आप अपना proxy ला सकते हैं।

अक्सर पूछे जाने वाले सवाल

मुझे कौन से packages चाहिए?

langchain-mcp-adapters और langchain[openai]। Example चलाने से पहले SPICRAWL_API_KEY और OPENAI_API_KEY सेट करें।

क्या मुझे agent को सभी 25 tools देने चाहिए?

आम तौर पर नहीं। सभी tool schemas हर model call पर भेजे जाते हैं। spicrawl_scrape रखें, और कई URLs के लिए spicrawl_batch_submit, spicrawl_batch_status और spicrawl_batch_results।

क्या हर tool call एक नया session खोलता है?

हाँ, default रूप से। spicrawl_scrape के लिए यह ठीक है, जो stateless है। अगर आप हर run के लिए एक session चाहते हैं, तो adapter का README देखें, client.session("spicrawl") के लिए।

क्या मुझे MCP इस्तेमाल करना चाहिए या API सीधे call करनी चाहिए?

जब model तय करता है कि क्या fetch करना है तब MCP इस्तेमाल करें। जब आपका code पहले से URL जानता हो, तो POST /v1/scrape call करने वाला plain function ज़्यादा सरल है और इसमें tool-schema tokens नहीं लगते।

हर page की कीमत कितनी है?

Plain fetch की कीमत 1 credit है, JavaScript rendering की 3 और full-browser rendering की 8। Failed requests की कीमत 0। Cache hit की कीमत उतनी ही है जितनी उस fetch की जिसने इसे store किया। Agent से हर request पर max_cost सेट करने को कहें ताकि वह आपकी उम्मीद से ज़्यादा खर्च न करे।