AI agents के लिए hosted web scraping MCP server
अपने agent को https://mcp.spicrawl.com/mcp से connect करें और वह कोई भी URL Markdown या JSON में पढ़ सकता है, batch jobs चला सकता है, logged-in sessions दोबारा इस्तेमाल कर सकता है और अपना usage खुद जाँच सकता है, बिना आपके scraping code लिखे।
Spicrawl MCP server क्या करता है
यह server AI agent को Spicrawl native tools के रूप में देता है। यह https://mcp.spicrawl.com/mcp पर hosted है, MCP Streamable HTTP बोलता है और bearer token के रूप में आपकी अपनी API key से authenticate करता है। हर tool call उसी key के तहत चलती है, ठीक वैसे जैसे आपने API को खुद call किया हो: वही limits और वही credits।
एक command में set up करें
Spicrawl CLI आपके client में MCP server और Spicrawl agent skill जोड़ता है, और लागू करने से पहले बदलाव दिखाता है:
npm install -g @spicrawl/cli
spicrawl init --client claude # or: --client cursor, --client codexया इसे हाथ से जोड़ें। Key को SPICRAWL_API_KEY environment variable में रखें और config से उसका reference दें, ताकि key कभी committed file में न जाए:
claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
--header "Authorization: Bearer $SPICRAWL_API_KEY"
# Or, for a team, commit .mcp.json (each person's own key is used):
{
"mcpServers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
}
}
}// .cursor/mcp.json (or ~/.cursor/mcp.json for every project)
{
"mcpServers": {
"spicrawl": {
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
}
}
}// .vscode/mcp.json: VS Code asks for the key once and stores it securely
{
"inputs": [
{ "type": "promptString", "id": "spicrawl-api-key", "description": "Spicrawl API key", "password": true }
],
"servers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" }
}
}
}codex mcp add spicrawl --url https://mcp.spicrawl.com/mcp --bearer-token-env-var SPICRAWL_API_KEY
# Equivalent ~/.codex/config.toml:
[mcp_servers.spicrawl]
url = "https://mcp.spicrawl.com/mcp"
bearer_token_env_var = "SPICRAWL_API_KEY"// claude_desktop_config.json: bridges to the hosted server with mcp-remote (needs Node.js)
{
"mcpServers": {
"spicrawl": {
"command": "npx",
"args": ["-y", "mcp-remote", "https://mcp.spicrawl.com/mcp", "--header", "Authorization:${SPICRAWL_AUTH}"],
"env": { "SPICRAWL_AUTH": "Bearer spicrawl_live_..." }
}
}
}Connection को claude mcp list, codex mcp list या अपने client की MCP settings से जाँचें। आपको 25 spicrawl_* tools दिखने चाहिए।
Tools, काम के हिसाब से group किए गए
| Job | Tools |
|---|---|
| एक page पढ़ें | spicrawl_scrape: Markdown (default), text, HTML या JSON, वैकल्पिक rendering, tag filters, extraction और browser actions के साथ |
| कई URLs | spicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel |
| Logged-in pages | spicrawl_session_create, _list, _get, _context, _release, _delete |
| Failure debug करें | spicrawl_requests_list, spicrawl_request_get |
| Credits और usage | spicrawl_usage, _summary, _reconciliation (read scope चाहिए) |
| चीज़ें खोजें | spicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index |
CDP से remote browser से connect करने का tool listed है लेकिन जल्द आ रहा है।
आज़माने के लिए पहला task
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.Agent URL और format: "markdown" के साथ spicrawl_scrape call करता है, और render: true तभी जोड़ता है जब पहला result खाली हो। पूरा walkthrough Claude Code से website कैसे scrape करें में है।
Agents को सस्ता और सुरक्षित रखें
- सबसे सस्ता पहले। Plain request 1 credit की है, JavaScript rendering 3 की, full-browser rendering 8 की। Agents को एक-एक step ऊपर जाना चाहिए और जो पहला काम करे, वहीं रुक जाना चाहिए।
- हर call की सीमा तय करें।
max_costset करें, और जो request ज़्यादा खर्च करेगी उसे चलने से पहले ही refuse कर दिया जाता है। - Failures free हैं। Errors और blocked pages की कीमत 0 credits है।
- बिना खर्च किए test करें।
spicrawl_test_keys sandbox पर चलती हैं और live credits कभी खर्च नहीं करतीं। - सीमित करें कि key क्या कर सकती है। Keys को डिफ़ॉल्ट रूप से
scrape,batchऔरsessionsscopes मिलते हैं;readतभी दें जब agent को usage दिखना चाहिए।
यह क्या नहीं करता
- Crawling नहीं। Spicrawl links follow नहीं करता और URLs discover नहीं करता। Agent को URLs दें, या किसी sitemap की list, और कई pages के लिए batch job इस्तेमाल करें।
- जल्द आ रहा है: managed proxies, stealth mode, एक remote browser connection, और एक plain-language prompt से extraction। आज आप बिना अतिरिक्त कीमत के अपना proxy ला सकते हैं, और CSS selectors या JSON Schema से data निकाल सकते हैं।
यह दूसरे scraping MCP servers से कैसे तुलना करता है
ज़्यादातर scraping APIs अब MCP server देती हैं। हर एक क्या देती है, हमारे comparison pages से, जो हर vendor के अपने docs का हवाला देते हैं:
| Provider | उनका MCP server |
|---|---|
| Firecrawl | Hosted MCP server जो बिना key के, OAuth sign-in से या API key से काम करता है। |
| ZenRows | Hosted MCP server, साथ में Claude Code, Cursor और Codex के लिए skills और plugins का agent toolkit। |
| Context.dev | Hosted MCP server जो API key की जगह OAuth से sign in करता है, साथ में एक agent skill। |
| ScrapingBee | Pages, text, screenshots, search results और usage लाने वाले tools के साथ hosted MCP server। |
| Bright Data | MIT-licensed MCP server, hosted या local चलाएँ। Free default mode pages को Markdown के रूप में scrape करता है और web search करता है; Pro mode 60+ tools जोड़ता है। |
| Jina Reader | URLs पढ़ने, screenshots लेने और search करने वाले tools के साथ hosted MCP server। पढ़ना बिना key के काम करता है। |
| Apify | Official MCP server जो agents को ready-made scrapers (Actors) खोजने और चलाने देता है। |
| Browserbase | Stagehand पर बना hosted MCP server जो plain-language commands से cloud browser को control करता है। |
जब आपका agent ज़्यादातर उन pages को पढ़ता है जिनके URLs उसके पास पहले से हैं, और आपको साफ़ Markdown, logged-in pages के लिए sessions और ऐसी failures चाहिए जिनकी कोई कीमत नहीं, तब Spicrawl का server चुनें। जब agent को पहले pages ढूँढने हों, तब crawl या search करने वाला चुनें।
अक्सर पूछे जाने वाले सवाल
Web scraping MCP server क्या है?
यह एक Model Context Protocol server है जो AI agent को web pages fetch करने के tools देता है। HTTP code लिखने की जगह, agent spicrawl_scrape जैसा tool URL के साथ call करता है और page Markdown, text, HTML या JSON में वापस पाता है।
यह किन AI agents और editors के साथ काम करता है?
कोई भी MCP client जो Streamable HTTP पर remote server से connect कर सके और Authorization header भेज सके, जैसे Claude Code, Cursor, VS Code और Codex CLI। Claude Desktop, mcp-remote bridge के ज़रिए connect हो सकता है।
क्या Spicrawl MCP server free है?
Spicrawl अपने beta में free है, credit card नहीं चाहिए। Tool calls API जितने ही credits इस्तेमाल करती हैं: plain request के लिए 1, JavaScript rendering के लिए 3 और full-browser rendering के लिए 8। Failed और blocked requests पर 0 लगता है।
क्या MCP server पूरी website crawl कर सकता है?
नहीं। Spicrawl URLs नहीं ढूँढता और links follow नहीं करता। Agent को वे URLs दें जो आप चाहते हैं, या sitemap से एक list, और कई pages के लिए batch job इस्तेमाल करें।
मैं अपनी API key सुरक्षित कैसे रखूँ?
Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.
क्या यह logged-in pages के साथ काम करता है?
हाँ, उन accounts के लिए जो आपके हैं या जिन्हें आप इस्तेमाल कर सकते हैं। spicrawl_session_create से session बनाएँ, browser actions से log in करें, फिर बाद के scrapes में session ID पास करें ताकि cookies और browser storage आगे चलें।