JavaScript websites scrape करें
JavaScript चाहने वाला URL भेजें। Page साफ़ Markdown या JSON में वापस पाएँ।
{ "url": "https://shop.example/product/1", "js_render": true, "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- hit
- X-Credits-Charged
- 3
Plain request से शुरू होता है और site के block करने पर ही browser तक जाता है। Blocked requests की कोई कीमत नहीं।
Page पढ़े जाने से पहले असली browser में JavaScript render करें।
Plain requests में असली browser का TLS और HTTP/2 fingerprint होता है।
सीधा connection या आपका अपना proxy, कोई अतिरिक्त शुल्क नहीं।
Requests के बीच cookies और storage रखें, ताकि login आगे चलता रहे।
Page पढ़े जाने से पहले click, type, scroll और JavaScript चलाएँ।
तेज़ load के लिए images, fonts और media छोड़ें।
Page के load होते समय वह जो API calls करता है उन्हें record करें।
Default रूप से 48 घंटे के लिए चालू। Repeats तेज़ हैं, उतने ही billed।
आपके चाहे format में rendered page
देखें कि page content Markdown, JSON या HTML कैसे बनता है। ये examples output दिखाते हैं, live request नहीं।


# Wireless Mouse — Model X**$49.00** · स्टॉक में · 4.6 (1,284 reviews)Low-latency 2.4 GHz receiver, 70-day battery lifeऔर silent switches।| Spec | Value || --------- | ------------ || Connection| 2.4 GHz, BT5 || Battery | 70 days |Menus, footers और ads हटाए गए: raw HTML tokens का 3% से 24%। Example page।
पूरा जवाब: status, URL, engine और data। Example page।
Page info, CSS rules या selectors वाला JSON Schema। Example page।
Page पर चलाने के steps, full-browser rendering में।
यह कैसे काम करता है
- Page URL भेजें
POST /v1/scrapeपर,js_render: trueके साथ। - Content का इंतज़ार करें।
wait_forको एक CSS selector पर set करें, जैसे.price। - Rendered page पाएँ आपके चुने format में। नीचे के उदाहरण Markdown लौटाते हैं।
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "js_render": True, "wait_for": ".price", "response_format": "markdown"},
timeout=180,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", js_render: true, wait_for: ".price", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --render --wait-for .price --format markdown --metaअपनी key SPICRAWL_API_KEY में रखें। उसे कभी browser code या commit होने वाली file में न डालें।
JavaScript कब render करें
Plain request scripts चलाए बिना HTML download करती है। अगर नतीजा खाली shell या “Loading…” message है, तो page को JavaScript चाहिए हो सकता है। पढ़ने से पहले उसे browser में चलाने के लिए js_render: true set करें।
HTML में पहले से मौजूद content के लिए plain request इस्तेमाल करें। Browser actions, resource blocking और network capture के लिए भी rendering चाहिए।
सही content का इंतज़ार करें
| Option | यह क्या करता है |
|---|---|
wait_for | Capture से पहले CSS selector दिखने का इंतज़ार करें। |
wait_for_timeout | Wait limit को 0 से 120,000 ms तक set करें। इसके लिए wait_for चाहिए; 0 का मतलब default है। |
wait | Load के बाद 0 से 30,000 ms तक fixed delay जोड़ें। हो सके तो selector को प्राथमिकता दें। |
block_resources | चुनें कि कौन से assets छोड़ने हैं। Images और fonts default रूप से blocked हैं, actions और captures के लिए अपवाद के साथ। |
response_format | Page content के लिए Markdown, JSON या HTML चुनें। |
एक स्पष्ट resource list डिफ़ॉल्ट list की जगह ले लेती है। कुछ भी block न करने के लिए ["none"] इस्तेमाल करें। Scripts को block न करें जब page को अपना content बनाने के लिए उनकी ज़रूरत हो।
Result जाँचें
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3X-Engine बताता है कि कौन-सा rendering tier चला (fetch, js या browser)। X-Target-Status site का status है, जबकि X-Credits-Charged charge दिखाता है।
अगर wait_for कभी match नहीं होता, तो page वैसा ही लौट सकता है जैसा वह था, X-Warning: RENDER_DEGRADED के साथ। इस्तेमाल से पहले content और warning जाँच लें।
Rendering tiers और cost
- Beta के दौरान free। हर request की कीमत Credits में दिखती है।
- JavaScript rendering:
js_render: trueकी कीमत हर सफल request पर 3 credits है। - Full-browser rendering: की कीमत 8 credits है। Screenshots, PDFs और actions इसे इस्तेमाल करते हैं, और Spicrawl request को अपने-आप वहाँ भेज देता है। अगर कोई deployment सामान्य tier नहीं दे सकता, तो वह अगला ऊँचा tier इस्तेमाल कर सकता है और
X-Warning: ENGINE_SUBSTITUTEDलौटा सकता है; ऊँची कीमत refuse करने के लिएmax_costset करें। - आप tier नहीं चुनते। Spicrawl इसे request की ज़रूरत के हिसाब से चुनता है और जिस tier ने serve किया उसका bill लगाता है।
- Failures पर 0 लगता है। Waiting और resource blocking पर कोई अतिरिक्त charge नहीं लगता। Request की सीमा तय करने के लिए
max_costset करें।
जानने लायक बातें
- Rendering या auto mode चुनें।
mode: "auto"कोjs_renderके साथ नहीं जोड़ा जा सकता। यह fetch से शुरू होता है और तभी JavaScript rendering, फिर full-browser rendering तक जाता है, जब पिछले step पर challenge मिलता है। - Browser flags के लिए browser चाहिए।
js_renderके बिनाwait_for, actions या resource blocking भेजने पर error मिलता है। - Crawling नहीं। अपने चाहे URLs भेजें; Spicrawl pages नहीं ढूँढता और links follow नहीं करता।
- जल्द आ रहा है: managed proxies, stealth mode, एक remote browser और एक plain-language prompt से extraction।
- आपकी ज़िम्मेदारी: सिर्फ़ वही pages fetch करें जिन्हें इस्तेमाल करने का आपको अधिकार है। हमारे terms पढ़ें।
अक्सर पूछे जाने वाले सवाल
मैं JavaScript website कैसे scrape करूँ?
js_render को true सेट करके page URL को POST https://api.spicrawl.com/v1/scrape पर भेजें। Spicrawl के page पढ़ने से पहले browser scripts चलाता है। Markdown, JSON या HTML के लिए response_format चुनें।
मैं content load होने का इंतज़ार कैसे करूँ?
wait_for को CSS selector पर सेट करें, जैसे .price। 120000 milliseconds तक का timeout सेट करने के लिए wait_for_timeout इस्तेमाल करें। अगर selector कभी match नहीं होता, तो page X-Warning: RENDER_DEGRADED के साथ वैसे ही लौट सकता है जैसा वह था। Result इस्तेमाल करने से पहले warning जाँचें।
JavaScript rendering की कीमत कितनी है?
Spicrawl beta के दौरान free है। सफल JavaScript renders 3 credits लेते हैं; full-browser rendering 8 लेता है। अगर कोई deployment JavaScript rendering नहीं दे सकता, तो js_render को full-browser rendering से serve किया जा सकता है और उसी कीमत पर bill किया जा सकता है। Fail हुई requests 0 credits लेती हैं। क्या चला, यह जाँचने के लिए X-Engine (fetch, js या browser) और X-Credits-Charged पढ़ें।
क्या मैं JavaScript rendering के साथ auto mode इस्तेमाल कर सकता हूँ?
नहीं। mode: auto को js_render के साथ जोड़ा नहीं जा सकता। Auto mode plain request से शुरू होता है और result बेकार होने पर JavaScript rendering, फिर full-browser rendering पर जाता है। जिन pages को आप जानते हैं कि JavaScript चाहिए, उनके लिए इसकी जगह js_render: true इस्तेमाल करें।
क्या यह JavaScript website crawl कर सकता है?
नहीं। Spicrawl URLs नहीं ढूँढता और links follow नहीं करता। जो page URLs पढ़ने हैं वे भेजें। सिर्फ़ वही pages fetch करें जिन्हें इस्तेमाल करने का आपको अधिकार है।