Spicrawl अब OpenAI Agents SDK, LangChain, Codex, Claude Code और अन्य के साथ काम करता है।Integrations देखें
Content पर जाएँ

JavaScript websites scrape करें

JavaScript चाहने वाला URL भेजें। Page साफ़ Markdown या JSON में वापस पाएँ।

Spicrawl control panel
Auto escalate
Browser
Fingerprint
Proxy
Managed proxies: जल्द आ रहे हैं
Session
Actions
Assets block करें
Network capture
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
Example response headers
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
hit
X-Credits-Charged
3
Browser

Page पढ़े जाने से पहले असली browser में JavaScript render करें।

सिर्फ़ example, live request नहीं। Beta free है।

आपके चाहे format में rendered page

देखें कि page content Markdown, JSON या HTML कैसे बनता है। ये examples output दिखाते हैं, live request नहीं।

example.com/product/1
Model X से मिलिए — हर click में precision
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00Stock में★ 4.6 (1,284)
कम-latency 2.4 GHz receiver, 70 दिन की battery life और silent switches।
SpecValue
Connection2.4 GHz, BT5Battery70 दिन
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · स्टॉक में · 4.6 (1,284 reviews)Low-latency 2.4 GHz receiver, 70-day battery lifeऔर silent switches।| Spec      | Value        || --------- | ------------ || Connection| 2.4 GHz, BT5 || Battery   | 70 days      |
Page पढ़ना
Raw HTML12,480 tokens
Markdown0 tokens

Menus, footers और ads हटाए गए: raw HTML tokens का 3% से 24%। Example page।

यह कैसे काम करता है

  1. Page URL भेजें POST /v1/scrape पर, js_render: true के साथ।
  2. Content का इंतज़ार करें। wait_for को एक CSS selector पर set करें, जैसे .price।
  3. Rendered page पाएँ आपके चुने format में। नीचे के उदाहरण Markdown लौटाते हैं।
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

अपनी key SPICRAWL_API_KEY में रखें। उसे कभी browser code या commit होने वाली file में न डालें।

JavaScript कब render करें

Plain request scripts चलाए बिना HTML download करती है। अगर नतीजा खाली shell या “Loading…” message है, तो page को JavaScript चाहिए हो सकता है। पढ़ने से पहले उसे browser में चलाने के लिए js_render: true set करें।

HTML में पहले से मौजूद content के लिए plain request इस्तेमाल करें। Browser actions, resource blocking और network capture के लिए भी rendering चाहिए।

सही content का इंतज़ार करें

Optionयह क्या करता है
wait_forCapture से पहले CSS selector दिखने का इंतज़ार करें।
wait_for_timeoutWait limit को 0 से 120,000 ms तक set करें। इसके लिए wait_for चाहिए; 0 का मतलब default है।
waitLoad के बाद 0 से 30,000 ms तक fixed delay जोड़ें। हो सके तो selector को प्राथमिकता दें।
block_resourcesचुनें कि कौन से assets छोड़ने हैं। Images और fonts default रूप से blocked हैं, actions और captures के लिए अपवाद के साथ।
response_formatPage content के लिए Markdown, JSON या HTML चुनें।

एक स्पष्ट resource list डिफ़ॉल्ट list की जगह ले लेती है। कुछ भी block न करने के लिए ["none"] इस्तेमाल करें। Scripts को block न करें जब page को अपना content बनाने के लिए उनकी ज़रूरत हो।

Result जाँचें

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine बताता है कि कौन-सा rendering tier चला (fetch, js या browser)। X-Target-Status site का status है, जबकि X-Credits-Charged charge दिखाता है।

अगर wait_for कभी match नहीं होता, तो page वैसा ही लौट सकता है जैसा वह था, X-Warning: RENDER_DEGRADED के साथ। इस्तेमाल से पहले content और warning जाँच लें।

Rendering tiers और cost

  • Beta के दौरान free। हर request की कीमत Credits में दिखती है।
  • JavaScript rendering: js_render: true की कीमत हर सफल request पर 3 credits है।
  • Full-browser rendering: की कीमत 8 credits है। Screenshots, PDFs और actions इसे इस्तेमाल करते हैं, और Spicrawl request को अपने-आप वहाँ भेज देता है। अगर कोई deployment सामान्य tier नहीं दे सकता, तो वह अगला ऊँचा tier इस्तेमाल कर सकता है और X-Warning: ENGINE_SUBSTITUTED लौटा सकता है; ऊँची कीमत refuse करने के लिए max_cost set करें।
  • आप tier नहीं चुनते। Spicrawl इसे request की ज़रूरत के हिसाब से चुनता है और जिस tier ने serve किया उसका bill लगाता है।
  • Failures पर 0 लगता है। Waiting और resource blocking पर कोई अतिरिक्त charge नहीं लगता। Request की सीमा तय करने के लिए max_cost set करें।

जानने लायक बातें

  • Rendering या auto mode चुनें। mode: "auto" को js_render के साथ नहीं जोड़ा जा सकता। यह fetch से शुरू होता है और तभी JavaScript rendering, फिर full-browser rendering तक जाता है, जब पिछले step पर challenge मिलता है।
  • Browser flags के लिए browser चाहिए। js_render के बिना wait_for, actions या resource blocking भेजने पर error मिलता है।
  • Crawling नहीं। अपने चाहे URLs भेजें; Spicrawl pages नहीं ढूँढता और links follow नहीं करता।
  • जल्द आ रहा है: managed proxies, stealth mode, एक remote browser और एक plain-language prompt से extraction।
  • आपकी ज़िम्मेदारी: सिर्फ़ वही pages fetch करें जिन्हें इस्तेमाल करने का आपको अधिकार है। हमारे terms पढ़ें।

अक्सर पूछे जाने वाले सवाल

मैं JavaScript website कैसे scrape करूँ?

js_render को true सेट करके page URL को POST https://api.spicrawl.com/v1/scrape पर भेजें। Spicrawl के page पढ़ने से पहले browser scripts चलाता है। Markdown, JSON या HTML के लिए response_format चुनें।

मैं content load होने का इंतज़ार कैसे करूँ?

wait_for को CSS selector पर सेट करें, जैसे .price। 120000 milliseconds तक का timeout सेट करने के लिए wait_for_timeout इस्तेमाल करें। अगर selector कभी match नहीं होता, तो page X-Warning: RENDER_DEGRADED के साथ वैसे ही लौट सकता है जैसा वह था। Result इस्तेमाल करने से पहले warning जाँचें।

JavaScript rendering की कीमत कितनी है?

Spicrawl beta के दौरान free है। सफल JavaScript renders 3 credits लेते हैं; full-browser rendering 8 लेता है। अगर कोई deployment JavaScript rendering नहीं दे सकता, तो js_render को full-browser rendering से serve किया जा सकता है और उसी कीमत पर bill किया जा सकता है। Fail हुई requests 0 credits लेती हैं। क्या चला, यह जाँचने के लिए X-Engine (fetch, js या browser) और X-Credits-Charged पढ़ें।

क्या मैं JavaScript rendering के साथ auto mode इस्तेमाल कर सकता हूँ?

नहीं। mode: auto को js_render के साथ जोड़ा नहीं जा सकता। Auto mode plain request से शुरू होता है और result बेकार होने पर JavaScript rendering, फिर full-browser rendering पर जाता है। जिन pages को आप जानते हैं कि JavaScript चाहिए, उनके लिए इसकी जगह js_render: true इस्तेमाल करें।

क्या यह JavaScript website crawl कर सकता है?

नहीं। Spicrawl URLs नहीं ढूँढता और links follow नहीं करता। जो page URLs पढ़ने हैं वे भेजें। सिर्फ़ वही pages fetch करें जिन्हें इस्तेमाल करने का आपको अधिकार है।