Spicrawl अब OpenAI Agents SDK, LangChain, Codex, Claude Code और अन्य के साथ काम करता है।Integrations देखें
Content पर जाएँ

साफ़ data के लिए Web scraping API

कोई भी URL भेजें। अपने app या AI agent के लिए तैयार साफ़ Markdown या JSON वापस पाएँ।

Spicrawl जो साफ़ text रखता है उसे देखने के लिए page पर drag करें।

shop.exampleCart · 2
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00Stock में★★★★★ 4.6 (1,284)

कम-latency 2.4 GHz receiver, 70 दिन की battery life और silent switches। लंबे दिनों के लिए बना।

Cart में जोड़ेंSave
Connection2.4 GHz, BT5
Battery70 दिन
Weight62 g
Summer sale · keyboards पर 30% offविज्ञापन
© shop.exampleShippingलौटाता है
आप क्या देखते हैंCrawler क्या रखता है
25.6 KB
HTML, scripts और styles का raw page 48 KBSpicrawl जो text लौटाता है उसका 3.1 KB रखा गया · example page

सिर्फ़ main content रखें

Spicrawl cookie banner, menus, ads और footer हटा देता है, और main content रखता है।

Page fetch करें
scrape.sh
curl -X POST https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com/product/1",    "response_format": "markdown",    "main_content_only": true  }'

यह कैसे काम करता है

  1. URL भेजें POST /v1/scrape पर और एक response_format चुनें।
  2. Spicrawl page fetch करता है। यह पहले plain request इस्तेमाल करता है, या जब आप कहें तो browser।
  3. आपको result मिलता है response body में, site का अपना status एक header में।
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "response_format": "markdown"}'

अपनी key SPICRAWL_API_KEY में रखें और उसे कभी उस code में न लिखें जिसे आप commit करते हैं।

Output formats

Formatइसके लिए सबसे अच्छा
markdownAI prompts, RAG और पढ़ने के लिए। Default रूप से सिर्फ़ main content।
jsonApps: content के साथ metadata, links या extracted fields, एक object में।
htmlजब आपको page का markup चाहिए। यह default है।
textसबसे छोटा output, बिना formatting के।
pdfrendered page का PDF।

Markdown output के बारे में और जानने के लिए website से Markdown देखें।

Result जाँचें

HTTP status Spicrawl का है। Site ने क्या जवाब दिया, यह X-Target-Status में है। सफल call ऐसी दिखती है:

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: fetch
x-credits-charged: 1
cache-state: miss

X-Target-Status में 403 या 503 का मतलब है कि आपको block page मिला, और इसकी कीमत 0 credits है।

जिन pages को और चाहिए

  • JavaScript pages। Page को पहले browser में load करने के लिए js_render: true set करें। देखें JavaScript rendering।
  • Logged-in pages। उन accounts के लिए जो आपके हैं या जिन्हें आप इस्तेमाल कर सकते हैं, requests के बीच cookies रखने के लिए session इस्तेमाल करें। देखें sessions और logins।
  • Clicks और scrolling। Browser actions page पढ़ने से पहले click, type और scroll कर सकते हैं। देखें browser actions।
  • कई URLs। एक batch job एक call में 10,000 URLs तक लेती है। देखें batch।

इसकी कीमत क्या है

  • Beta के दौरान free, credit card के बिना।
  • प्रति सफल request credits: plain request के लिए 1, JavaScript rendering के लिए 3, full-browser rendering के लिए 8।
  • Failures free हैं: errors, bot challenges और error देने वाले pages की कीमत 0 है।
  • हर request की सीमा तय करें max_cost के साथ, ताकि कोई call आपकी उम्मीद से ज़्यादा खर्च न करे।

जानने लायक बातें

  • Crawling नहीं। Spicrawl links follow नहीं करता और pages discover नहीं करता। URLs आप भेजते हैं।
  • जल्द आ रहा है: managed proxies, stealth mode, एक remote browser और एक plain-language prompt से extraction। आज आप बिना अतिरिक्त कीमत के अपना proxy ला सकते हैं।
  • आपकी ज़िम्मेदारी: सिर्फ़ वही pages fetch करें जिन्हें इस्तेमाल करने का आपको अधिकार है। हमारे terms देखें।

अक्सर पूछे जाने वाले सवाल

Web scraping API क्या है?

यह एक service है जो आपके लिए web page fetch करती है और उसका content ऐसे रूप में लौटाती है जिसे आपका code इस्तेमाल कर सके। आप एक URL भेजते हैं; यह request, JavaScript और clean-up संभालती है, और Markdown, JSON या HTML लौटाती है।

Spicrawl scraping API की कीमत कितनी है?

Beta के दौरान यह free है, credit card नहीं चाहिए। Requests credits इस्तेमाल करती हैं: plain request के लिए 1, JavaScript rendering के लिए 3 और full-browser rendering के लिए 8। Errors, bot challenges और error देने वाले pages पर 0 लगता है।

क्या यह उन pages को scrape कर सकता है जिन्हें JavaScript चाहिए?

हाँ। js_render को true सेट करें और page पहले browser में load होता है। Plain request से शुरू करें और तभी render करें जब plain result खाली हो।

मुझे कैसे पता चले कि site ने मुझे block किया?

X-Target-Status header पढ़ें। HTTP status Spicrawl का है; X-Target-Status वह है जो site ने जवाब दिया। वहाँ 403 या 503 का मतलब है कि आपको block page मिला, और इसकी कीमत 0 credits है।

क्या यह पूरी website crawl कर सकता है?

नहीं। Spicrawl links follow नहीं करता और pages नहीं ढूँढता। अपने चाहे URLs भेजें, एक-एक करके या एक batch call में 10,000 तक।