अक्सर पूछे जाने वाले सवाल
Spicrawl के बारे में त्वरित जवाब, pricing से proxies तक।
सभी सवाल
General
Spicrawl क्या है?
Spicrawl एक web scraping API है जो API, CLI या MCP server के ज़रिए किसी भी URL को आपके code या AI agent के लिए साफ़ Markdown, HTML, PDF या structured JSON में बदलता है।
क्या Spicrawl free है?
हाँ। Beta के दौरान यह free है, हर महीने 1,000 credits के साथ और credit card नहीं चाहिए।
Spicrawl का क्या मतलब है?
नाम "spider" और "crawl" को जोड़ता है, इसीलिए हमारा logo एक spider है। इसकी spelling S-P-I-C-R-A-W-L है। Spicrawl एक web scraping API है: आप अपने चाहे URLs भेजते हैं, और यह साफ़ data लौटाता है।
मैं अपने AI assistant का built-in web fetch क्यों न इस्तेमाल करूँ?
Built-in fetch tools एक झलक के लिए ठीक हैं, लेकिन वे अक्सर raw या कटा हुआ text लौटाते हैं और JavaScript नहीं चला पाते। Spicrawl साफ़ Markdown या JSON लौटाता है, ज़रूरत होने पर JavaScript render करता है, login sessions रखता है, clicks और form inputs चलाता है, और एक job में 10,000 URLs तक batch करता है। आपके agent को page का content मिलता है, उसके menus और scripts नहीं।
क्या web scraping legal है?
यह इस पर निर्भर करता है कि आप क्या इकट्ठा करते हैं, आप कहाँ हैं और आप इसका इस्तेमाल कैसे करते हैं। सार्वजनिक रूप से उपलब्ध pages scrape करना आम है, लेकिन हर site की terms, copyright और GDPR जैसे data protection laws का सम्मान करने की ज़िम्मेदारी आपकी है, खासकर personal data के लिए। अगर आप निश्चित नहीं हैं, तो अपने specific case के बारे में किसी वकील से पूछें।
Scraping और data
क्या मैं JavaScript websites scrape कर सकता हूँ?
Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.
क्या Spicrawl Cloudflare जैसी bot protection पार कर सकता है?
अक्सर, लेकिन हमेशा नहीं। असली browser fingerprint, browser rendering या अपना proxy इस्तेमाल करें। Bot challenge एक साफ़ error लौटाता है और इसकी कोई कीमत नहीं। Stealth mode और managed proxies beta में नहीं हैं।
मैं website को LLM के लिए Markdown में कैसे बदलूँ?
response_format को markdown सेट करके URL भेजें। Spicrawl page का main content Markdown में लौटाता है, menus, footers और asides हटाकर, जिसमें आम तौर पर raw HTML के tokens का एक छोटा हिस्सा लगता है। यह PDFs भी parse करता है, और Markdown conversion का कोई अतिरिक्त शुल्क नहीं।
क्या मैं structured data JSON के रूप में निकाल सकता हूँ?
हाँ, तीन तरीकों से: autoparse page का अपना metadata पढ़ता है, selector map सटीक fields निकालता है, और selectors वाला JSON Schema typed, validated output लौटाता है। तीनों engine की कीमत के ऊपर free हैं। Model इस्तेमाल करके plain-language description से extraction जल्द आ रहा है।
क्या मैं एक साथ कई URLs scrape कर सकता हूँ?
हाँ। एक batch job हर call में 10,000 URLs तक स्वीकार करता है और उन्हें parallel चलाता है। आप उसकी progress check करते हैं, फिर results JSON Lines के रूप में download करते हैं। Results 72 घंटे रखे जाते हैं।
क्या मैं login session रख सकता हूँ?
हाँ। Session बनाएँ और हर request पर उसकी id पास करें ताकि वही cookies, browser storage और exit IP दोबारा इस्तेमाल हों, जिससे pages के बीच login आगे चलता है। एक organization एक समय में 100 live sessions तक रख सकता है।
क्या मैं clicks और forms automate कर सकता हूँ?
हाँ। Browser actions page के capture होने से पहले rendered page पर click, type, select, scroll, wait और JavaScript चला सकते हैं, हर request में 50 steps तक।
क्या मैं proxies इस्तेमाल कर सकता हूँ?
हाँ। बिना proxy surcharge के अपना proxy लाएँ। Managed proxies और built-in country targeting जल्द आ रहे हैं और beta के दौरान उपलब्ध नहीं हैं।
AI agents और developers
क्या मैं Spicrawl को AI agents के साथ इस्तेमाल कर सकता हूँ?
हाँ। Hosted MCP server Claude Code, Cursor और Codex को pages scrape करने, batches चलाने, sessions दोबारा इस्तेमाल करने और browser actions चलाने देता है। इसे set up करने के लिए spicrawl init चलाएँ।
मैं कौन सी programming languages इस्तेमाल कर सकता हूँ?
कोई भी language जो HTTP request भेज सके। Docs में cURL, Python और TypeScript के examples हैं, और Node.js 18 और उसके बाद के लिए npm पर एक JavaScript और TypeScript SDK (@spicrawl/sdk) है। spicrawl CLI किसी भी shell या script से काम करता है।
क्या CLI या dashboard है?
दोनों। CLI scraping, batches, sessions, logs और usage कवर करता है, और dashboard में playground, activity logs, usage और key management है।
Credits और limits
क्या failed requests पर credits लगते हैं?
नहीं। सिर्फ़ सफल requests पर credits लगते हैं: plain के लिए 1, JavaScript rendering के लिए 3 और full browser के लिए 8। Errors, bot challenges और timeouts free हैं।
क्या rate limits हैं?
हाँ। हर API key की एक request rate है, हर organization की एक साथ चल रही requests की limit है, और एक monthly credit allowance है। हर response अपने headers में आपकी मौजूदा limits बताता है, और जो request किसी limit से refuse होती है उसकी कोई कीमत नहीं।
अब भी अटके हैं? Docs पढ़ें या support@spicrawl.com पर email करें।