scrape करने से पहले click, type और scroll करें
Menus खोलें, forms भरें और अतिरिक्त content load करें। फिर page पढ़ें।
- 1Clickकोई menu खोलें या “Load more” दबाएँ
- 2TypeForm या search box भरें
- 3ScrollFeed का बाकी हिस्सा load करें
- 4ReadPage को Markdown में पाएँ
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com", "js_render": true, "response_format": "markdown", "actions": [ { "click": "#accept" }, { "fill": { "selector": "#search", "value": "shoes" } }, { "scroll": { "y": 800 } } ] }'यह कैसे काम करता है
- Rendering चालू करें
js_render: trueके साथ। Actions के लिए browser चाहिए। - अपने steps list करें
actionsमें। ये page load होने के बाद क्रम से चलते हैं। - Page पाएँ आखिरी step के बाद जैसा वह दिखता है, आपके चुने format में।
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products?category=lamps",
"js_render": true,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"}
]
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products?category=lamps",
"js_render": True,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"},
],
},
timeout=180,
)
print(r.text)spicrawl scrape "https://example.com/products?category=lamps" --render --format markdown \
--actions '[{"click":"button.load-more"},{"wait_for":".product-card:nth-child(40)"}]'आप जो steps इस्तेमाल कर सकते हैं
| Step | यह क्या करता है |
|---|---|
wait_for | किसी element का या तय समय का इंतज़ार करता है |
click | Button या link click करता है |
fill | Input में type करता है। Value को logs से छिपाने के लिए secret: true जोड़ें |
select | List में से एक option चुनता है |
scroll | Page scroll करता है, उन feeds के लिए जो आगे बढ़ने पर और load करते हैं |
evaluate | Page पर आपका अपना JavaScript चलाता है |
screenshot | उस step पर page की image save करता है |
जानने लायक बातें
- 50 steps तक हर request में। पूरी list की जाँच कुछ भी खर्च होने से पहले होती है।
- सिर्फ़ browser।
js_renderके बिना request 400 के साथ refuse हो जाती है। - Batch पर नहीं। Actions सिर्फ़ single scrapes पर चलते हैं।
- Logins: सिर्फ़ उन accounts में log in करें जो आपके हैं या जिन्हें आप इस्तेमाल कर सकते हैं। Logged in रहने के लिए session इस्तेमाल करें।
- Pricing: beta के दौरान free। Actions full-browser rendering में चलते हैं, जिसकी कीमत 8 credits है।
अक्सर पूछे जाने वाले सवाल
Browser actions क्या कर सकते हैं?
किसी element का इंतज़ार करें, navigation का इंतज़ार करें, click करें, input भरें, option चुनें, scroll करें, JavaScript चलाएँ और screenshot लें। Steps page load होने के बाद क्रम से चलते हैं।
एक request में कितने steps हो सकते हैं?
50 तक। Request चलने से पहले पूरी list जाँची जाती है, इसलिए गलती जल्दी fail होती है और उसकी कोई कीमत नहीं।
क्या browser actions के लिए JavaScript rendering चाहिए?
हाँ। Actions browser में चलते हैं, इसलिए js_render को true सेट करें। इसके बिना request 400 के साथ refuse हो जाती है।
क्या मैं password सुरक्षित तरीके से भर सकता हूँ?
हाँ। Fill step को secret true सेट करके mark करें, और value logs से छिपी रहती है। सिर्फ़ उन्हीं accounts में log in करें जो आपके हैं या जिन्हें आप इस्तेमाल कर सकते हैं।
क्या steps के बाद screenshot मिल सकता है?
हाँ। एक screenshot step जोड़ें। फिर response JSON envelope बन जाता है, जिसमें images screenshots के अंदर होती हैं।