Live world data: agents
अपने agents/systems के लिए दुनिया का data unlock करें, बेहतर products बनाएँ।
एक working example से शुरू करें
Spicrawl पर बने open-source tools, plugins और SDKs। एक clone करें, अपनी API key जोड़ें, ship करें।
docs2skill
Docs site से agent skill और llms.txt।
agent-plugins
Coding agents के लिए scraping plugins।
mcp
MCP server: कोई भी URL Markdown या JSON में।
price-tracker
किसी भी store के लिए Price और stock alerts।
change-monitor
किसी page को watch करें, बदलने पर diff पाएँ।
n8n-nodes-spicrawl
n8n node: scrape, extract, agent tool।
langchain-spicrawl
LangChain loader: RAG के लिए pages Markdown में।
langchain-spicrawl-js
TypeScript के लिए LangChain loader।
sdk
Spicrawl API के लिए TypeScript SDK।
Spicrawl web scraping API जो कुछ भी करता है
Markdown और JSON output, JavaScript rendering, Cloudflare और anti-bot handling, browser actions, sessions, 10,000 URLs तक के batch jobs, structured extraction, network capture, screenshots और PDFs, और caching। इनमें से हर एक उसी API का एक parameter है, और हर एक CLI और MCP server से भी उपलब्ध है।
Plain, JavaScript या full browser
- tier के अनुसार 1, 3 या 8 credits। mode: auto सस्ते से शुरू होता है और ज़रूरत होने पर ही ऊपर जाता है।
- आप उस tier के पैसे देते हैं जिसने serve किया। Failures पर 0।
- js_render
- mode
- wait_for
curl https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com/products", "js_render": true, "wait_for": ".product-card", "response_format": "json" }'spicrawl scrape <url> --render
Guide पढ़ेंआज जिस page को आप scrape करते हैं उस पर आज़माएँ
एक API key, हर महीने 1,000 free credits, credit card नहीं चाहिए।
Up to 97% fewer tokens than raw HTML
Menus, scripts and ads are stripped before the page reaches your model, so the same facts take a fraction of the context. Raw HTML on the left, Spicrawl Markdown on the right.
अपने URLs पर बचत मापें
वही pages दोनों तरह से चलाएँ और token counts की तुलना करें।
Two ways in: ask your agent, or call the API
Describe the page in plain words, or send one POST request. Both return the same clean output.
बस अपने AI से पूछें
एक बार connect करें, फिर सादे शब्दों में पूछें। कोई code नहीं लिखना।
Claude Code में set up करें
Spicrawl MCP से अपना AI agent connect करें
एक hosted MCP server: scrape, batch, sessions और browser actions, बिना glue code के।
MCP endpoint: https://mcp.spicrawl.com/mcp
- Scrape
- Batch jobs
- Sessions
- Actions
- Request history
- Usage
- Docs
क्या आप एक AI agent हैं?
Skill fetch करें और scraping शुरू करें।
curl -s https://docs.spicrawl.com/skill.mdउन tools के साथ काम करता है जो आप पहले से इस्तेमाल करते हैं
एक prompt में अपने agent को web दें
Claude Code, Cursor, Codex और किसी भी MCP client के साथ काम करता है।
Get Markdown, JSON or structured data from one request
Pick the format your next step needs: Markdown for a prompt, JSON for your app, a screenshot or PDF for a record.


# Wireless Mouse — Model X**$49.00** · स्टॉक में · 4.6 (1,284 reviews)Low-latency 2.4 GHz receiver, 70-day battery lifeऔर silent switches।| Spec | Value || --------- | ------------ || Connection| 2.4 GHz, BT5 || Battery | 70 days |Menus, footers और ads हटाए गए: raw HTML tokens का 3% से 24%। Example page।
पूरा जवाब: status, URL, engine और data। Example page।
Page info, CSS rules या selectors वाला JSON Schema। Example page।
Page पर चलाने के steps, full-browser rendering में।
Scrape JavaScript sites, logins and dynamic pages
Start with a plain fetch. Spicrawl moves up to a real browser only when the page needs one. Keep a session to stay logged in, or bring your own proxy.
{ "url": "https://shop.example/product/1", "mode": "auto", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- fetch
- X-Proxy-Source
- direct
- Cache-State
- hit
- X-Credits-Charged
- 1
Plain request से शुरू होता है और site के block करने पर ही browser तक जाता है। Blocked requests की कोई कीमत नहीं।
Page पढ़े जाने से पहले असली browser में JavaScript render करें।
Plain requests में असली browser का TLS और HTTP/2 fingerprint होता है।
सीधा connection या आपका अपना proxy, कोई अतिरिक्त शुल्क नहीं।
Requests के बीच cookies और storage रखें, ताकि login आगे चलता रहे।
Page पढ़े जाने से पहले click, type, scroll और JavaScript चलाएँ।
तेज़ load के लिए images, fonts और media छोड़ें।
Page के load होते समय वह जो API calls करता है उन्हें record करें।
Default रूप से 48 घंटे के लिए चालू। Repeats तेज़ हैं, उतने ही billed।
Test in the dashboard, then ship with the API or CLI
Try a URL, copy the request, and run it from your code or your terminal.
CLI
एक URL scrape करें, हज़ारों का batch करें और अपने terminal से sessions manage करें।
CLI docs पढ़ेंTry what people build with Spicrawl
Small working tools, each built on the Spicrawl API.
What you can build with a web scraping API
Each job links to a guide in the docs, with working code.
- 01
LLMs और RAG pipelines को data दें
Articles, docs और PDFs को साफ़ Markdown में बदलें, embed करने के लिए तैयार।
LLMs के लिए Markdown - 02
AI agents को web access दें
Live pages पढ़ने के लिए Claude Code, Cursor या Codex connect करें।
Agents के साथ बनाएँ - 05
Login के पीछे के pages पढ़ें
एक बार log in करें, हर page पर session दोबारा इस्तेमाल करें।
Sessions इस्तेमाल करें - 06
Page के पीछे का data capture करें
HTML parse करने की जगह page जो JSON load करता है उसे पढ़ें।
Network calls capture करें
हर page के पैसे दें, सिर्फ़ जब वह काम करे
आपको हर महीने 1,000 free credits मिलते हैं, credit card नहीं चाहिए। Failed request, bot challenge या timeout की कोई कीमत नहीं। Beta में free।
हर महीने 1,000 free credits यानी 1,000 plain, 333 JavaScript या 125 full-browser pages।
अक्सर पूछे जाने वाले सवाल
Spicrawl क्या है?
Spicrawl एक web scraping API है जो API, CLI या MCP server के ज़रिए किसी भी URL को आपके code या AI agent के लिए साफ़ Markdown, HTML, PDF या structured JSON में बदलता है।
क्या Spicrawl free है?
हाँ। Beta के दौरान यह free है, हर महीने 1,000 credits के साथ और credit card नहीं चाहिए।
क्या मैं JavaScript websites scrape कर सकता हूँ?
Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.
क्या Spicrawl Cloudflare जैसी bot protection पार कर सकता है?
अक्सर, लेकिन हमेशा नहीं। असली browser fingerprint, browser rendering या अपना proxy इस्तेमाल करें। Bot challenge एक साफ़ error लौटाता है और इसकी कोई कीमत नहीं। Stealth mode और managed proxies beta में नहीं हैं।
क्या मैं Spicrawl को AI agents के साथ इस्तेमाल कर सकता हूँ?
हाँ। Hosted MCP server Claude Code, Cursor और Codex को pages scrape करने, batches चलाने, sessions दोबारा इस्तेमाल करने और browser actions चलाने देता है। इसे set up करने के लिए spicrawl init चलाएँ।
क्या failed requests पर credits लगते हैं?
नहीं। सिर्फ़ सफल requests पर credits लगते हैं: plain के लिए 1, JavaScript rendering के लिए 3 और full browser के लिए 8। Errors, bot challenges और timeouts free हैं।