Spicrawl अब OpenAI Agents SDK, LangChain, Codex, Claude Code और अन्य के साथ काम करता है।Integrations देखें
Content पर जाएँ

AI agents के लिए hosted web scraping MCP server

अपने agent को https://mcp.spicrawl.com/mcp से connect करें और वह कोई भी URL Markdown या JSON में पढ़ सकता है, batch jobs चला सकता है, logged-in sessions दोबारा इस्तेमाल कर सकता है और अपना usage खुद जाँच सकता है, बिना आपके scraping code लिखे।

Spicrawl MCP server क्या करता है

यह server AI agent को Spicrawl native tools के रूप में देता है। यह https://mcp.spicrawl.com/mcp पर hosted है, MCP Streamable HTTP बोलता है और bearer token के रूप में आपकी अपनी API key से authenticate करता है। हर tool call उसी key के तहत चलती है, ठीक वैसे जैसे आपने API को खुद call किया हो: वही limits और वही credits।

एक command में set up करें

Spicrawl CLI आपके client में MCP server और Spicrawl agent skill जोड़ता है, और लागू करने से पहले बदलाव दिखाता है:

bash
npm install -g @spicrawl/cli
spicrawl init --client claude   # or: --client cursor, --client codex

या इसे हाथ से जोड़ें। Key को SPICRAWL_API_KEY environment variable में रखें और config से उसका reference दें, ताकि key कभी committed file में न जाए:

claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
  --header "Authorization: Bearer $SPICRAWL_API_KEY"

# Or, for a team, commit .mcp.json (each person's own key is used):
{
  "mcpServers": {
    "spicrawl": {
      "type": "http",
      "url": "https://mcp.spicrawl.com/mcp",
      "headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
    }
  }
}

Connection को claude mcp list, codex mcp list या अपने client की MCP settings से जाँचें। आपको 25 spicrawl_* tools दिखने चाहिए।

Tools, काम के हिसाब से group किए गए

JobTools
एक page पढ़ेंspicrawl_scrape: Markdown (default), text, HTML या JSON, वैकल्पिक rendering, tag filters, extraction और browser actions के साथ
कई URLsspicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel
Logged-in pagesspicrawl_session_create, _list, _get, _context, _release, _delete
Failure debug करेंspicrawl_requests_list, spicrawl_request_get
Credits और usagespicrawl_usage, _summary, _reconciliation (read scope चाहिए)
चीज़ें खोजेंspicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index

CDP से remote browser से connect करने का tool listed है लेकिन जल्द आ रहा है।

आज़माने के लिए पहला task

prompt
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.

Agent URL और format: "markdown" के साथ spicrawl_scrape call करता है, और render: true तभी जोड़ता है जब पहला result खाली हो। पूरा walkthrough Claude Code से website कैसे scrape करें में है।

Agents को सस्ता और सुरक्षित रखें

  • सबसे सस्ता पहले। Plain request 1 credit की है, JavaScript rendering 3 की, full-browser rendering 8 की। Agents को एक-एक step ऊपर जाना चाहिए और जो पहला काम करे, वहीं रुक जाना चाहिए।
  • हर call की सीमा तय करें। max_cost set करें, और जो request ज़्यादा खर्च करेगी उसे चलने से पहले ही refuse कर दिया जाता है।
  • Failures free हैं। Errors और blocked pages की कीमत 0 credits है।
  • बिना खर्च किए test करें। spicrawl_test_ keys sandbox पर चलती हैं और live credits कभी खर्च नहीं करतीं।
  • सीमित करें कि key क्या कर सकती है। Keys को डिफ़ॉल्ट रूप से scrape, batch और sessions scopes मिलते हैं; read तभी दें जब agent को usage दिखना चाहिए।

यह क्या नहीं करता

  • Crawling नहीं। Spicrawl links follow नहीं करता और URLs discover नहीं करता। Agent को URLs दें, या किसी sitemap की list, और कई pages के लिए batch job इस्तेमाल करें।
  • जल्द आ रहा है: managed proxies, stealth mode, एक remote browser connection, और एक plain-language prompt से extraction। आज आप बिना अतिरिक्त कीमत के अपना proxy ला सकते हैं, और CSS selectors या JSON Schema से data निकाल सकते हैं।

यह दूसरे scraping MCP servers से कैसे तुलना करता है

ज़्यादातर scraping APIs अब MCP server देती हैं। हर एक क्या देती है, हमारे comparison pages से, जो हर vendor के अपने docs का हवाला देते हैं:

Providerउनका MCP server
FirecrawlHosted MCP server जो बिना key के, OAuth sign-in से या API key से काम करता है।
ZenRowsHosted MCP server, साथ में Claude Code, Cursor और Codex के लिए skills और plugins का agent toolkit।
Context.devHosted MCP server जो API key की जगह OAuth से sign in करता है, साथ में एक agent skill।
ScrapingBeePages, text, screenshots, search results और usage लाने वाले tools के साथ hosted MCP server।
Bright DataMIT-licensed MCP server, hosted या local चलाएँ। Free default mode pages को Markdown के रूप में scrape करता है और web search करता है; Pro mode 60+ tools जोड़ता है।
Jina ReaderURLs पढ़ने, screenshots लेने और search करने वाले tools के साथ hosted MCP server। पढ़ना बिना key के काम करता है।
ApifyOfficial MCP server जो agents को ready-made scrapers (Actors) खोजने और चलाने देता है।
BrowserbaseStagehand पर बना hosted MCP server जो plain-language commands से cloud browser को control करता है।

जब आपका agent ज़्यादातर उन pages को पढ़ता है जिनके URLs उसके पास पहले से हैं, और आपको साफ़ Markdown, logged-in pages के लिए sessions और ऐसी failures चाहिए जिनकी कोई कीमत नहीं, तब Spicrawl का server चुनें। जब agent को पहले pages ढूँढने हों, तब crawl या search करने वाला चुनें।

अक्सर पूछे जाने वाले सवाल

Web scraping MCP server क्या है?

यह एक Model Context Protocol server है जो AI agent को web pages fetch करने के tools देता है। HTTP code लिखने की जगह, agent spicrawl_scrape जैसा tool URL के साथ call करता है और page Markdown, text, HTML या JSON में वापस पाता है।

यह किन AI agents और editors के साथ काम करता है?

कोई भी MCP client जो Streamable HTTP पर remote server से connect कर सके और Authorization header भेज सके, जैसे Claude Code, Cursor, VS Code और Codex CLI। Claude Desktop, mcp-remote bridge के ज़रिए connect हो सकता है।

क्या Spicrawl MCP server free है?

Spicrawl अपने beta में free है, credit card नहीं चाहिए। Tool calls API जितने ही credits इस्तेमाल करती हैं: plain request के लिए 1, JavaScript rendering के लिए 3 और full-browser rendering के लिए 8। Failed और blocked requests पर 0 लगता है।

क्या MCP server पूरी website crawl कर सकता है?

नहीं। Spicrawl URLs नहीं ढूँढता और links follow नहीं करता। Agent को वे URLs दें जो आप चाहते हैं, या sitemap से एक list, और कई pages के लिए batch job इस्तेमाल करें।

मैं अपनी API key सुरक्षित कैसे रखूँ?

Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.

क्या यह logged-in pages के साथ काम करता है?

हाँ, उन accounts के लिए जो आपके हैं या जिन्हें आप इस्तेमाल कर सकते हैं। spicrawl_session_create से session बनाएँ, browser actions से log in करें, फिर बाद के scrapes में session ID पास करें ताकि cookies और browser storage आगे चलें।