Web page के पीछे की API calls capture करें
कई pages अपना data किसी API से load करते हैं। उन calls को capture करें और JSON सीधे पढ़ें।
यह कैसे काम करता है
- Page render करें।
js_render: trueset करें, क्योंकि capture सिर्फ़ browser में चलता है। - Calls चुनें।
network_captureको patterns कीurlslist पर set करें, जैसे/api/search। - Bodies पढ़ें। हर matching call
networkarray में अपने status, type और body के साथ आती है।
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/search?q=desk",
"js_render": true,
"network_capture": { "urls": ["/api/search"] }
}'spicrawl scrape "https://example.com/search?q=desk" --render \
--network-capture '{"urls":["/api/search"]}'अपनी key SPICRAWL_API_KEY में रखें।
क्या वापस आता है
documented response का एक अंश। Page contents एक example हैं।
{
"status": 200,
"credits": 3,
"network": [
{
"url": "https://example.com/api/search?q=desk&page=1",
"status": 200,
"resource_type": "fetch",
"content_type": "application/json",
"body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
}
]
}इसे कब इस्तेमाल करें
- Page खुद को एक API से भरता है। JSON आमतौर पर उससे बनी markup से ज़्यादा साफ़ और स्थिर होता है।
- Search, listings और feeds। Results अक्सर एक JSON call के रूप में load होते हैं जिसे आप पूरा पढ़ सकते हैं।
- नहीं तो, CSS selectors या JSON Schema के साथ structured extraction इस्तेमाल करें।
जानने लायक बातें
js_renderचाहिए। यह JavaScript rendering के 3 credits के ऊपर कोई credit नहीं जोड़ता। Fail हुई requests की कीमत 0 है।- सम्मान रखें। सिर्फ़ वही data fetch करें जिसे इस्तेमाल करने की आपको अनुमति है, और site की terms का पालन करें।
- Pricing: beta के दौरान free, हर महीने 1,000 credits के साथ।
अक्सर पूछे जाने वाले सवाल
Network capture क्या करता है?
यह page के load होते समय उसकी network calls record करता है और आपकी माँगी हुई calls लौटाता है, response body सहित। इससे आप page का खुद इस्तेमाल किया जाने वाला JSON पढ़ सकते हैं, उस HTML को parse करने की जगह जिससे वह draw होता है।
मैं कैसे चुनूँ कि कौन सी calls capture करनी हैं?
Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.
क्या इसके लिए JavaScript rendering चाहिए?
हाँ। Capture तभी काम करता है जब page browser में render हो, इसलिए js_render को true सेट करें।
क्या network capture का अतिरिक्त शुल्क है?
नहीं। यह उस JavaScript rendering के ऊपर कोई credits नहीं जोड़ता जिसके पैसे आप पहले से देते हैं, यानी 3 credits। Failed requests पर 0 लगता है।
क्या मुझे HTML scrape करने की जगह इसे इस्तेमाल करना चाहिए?
जब कोई page JSON API से खुद को भरता है, तब उस JSON को पढ़ना आम तौर पर markup parse करने से ज़्यादा साफ़ और स्थिर होता है। Site की terms का सम्मान करें और सिर्फ़ वही data fetch करें जिसे इस्तेमाल करने की आपको अनुमति है।