Login के पीछे की websites scrape करें
एक बार log in करें और logged in रहें। एक API से अपने account pages पढ़ें।
{ "url": "https://shop.example/product/1", "js_render": true, "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- bypass
- X-Credits-Charged
- 3
Plain request से शुरू होता है और site के block करने पर ही browser तक जाता है। Blocked requests की कोई कीमत नहीं।
Page पढ़े जाने से पहले असली browser में JavaScript render करें।
Plain requests में असली browser का TLS और HTTP/2 fingerprint होता है।
सीधा connection या आपका अपना proxy, कोई अतिरिक्त शुल्क नहीं।
Requests के बीच cookies और storage रखें, ताकि login आगे चलता रहे।
Page पढ़े जाने से पहले click, type, scroll और JavaScript चलाएँ।
तेज़ load के लिए images, fonts और media छोड़ें।
Page के load होते समय वह जो API calls करता है उन्हें record करें।
Default रूप से 48 घंटे के लिए चालू। Repeats तेज़ हैं, उतने ही billed।
Requests के बीच login बनाए रखें
एक session आपके पढ़े गए pages में एक cookie jar साझा करता है। यह example flow दिखाता है, live request नहीं।
const s = await fetch("https://api.spicrawl.com/v1/sessions", method: "POST", headers: Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );यह कैसे काम करता है
- Session बनाएँ। Response से ID संभालकर रखें।
- Browser actions से log in करें। Login request के साथ session ID भेजें।
- Account pages पढ़ें। वही ID दोबारा इस्तेमाल करें, एक बार में एक request।
- Session release करें जब आपका काम पूरा हो जाए।
Sessions बनाने और संभालने के लिए आपकी API key को sessions scope चाहिए, और किसी session को इस्तेमाल करने के लिए scrape। इसे SPICRAWL_API_KEY में रखें।
1. Session बनाएँ
curl https://api.spicrawl.com/v1/sessions \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"ttl_seconds": 7200}'import os, requests
API = "https://api.spicrawl.com"
headers = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
s = requests.post(f"{API}/v1/sessions", headers=headers,
json={"ttl_seconds": 7200}, timeout=30)
s.raise_for_status()
session_id = s.json()["id"]const API = "https://api.spicrawl.com";
const headers = {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
};
const s = await fetch(`${API}/v1/sessions`, {
method: "POST", headers,
body: JSON.stringify({ ttl_seconds: 7200 }),
});
if (!s.ok) throw new Error(await s.text());
const { id: sessionId } = await s.json();spicrawl sessions create --ttl 7200Response में id, engine, expires_at और hard_expires_at होते हैं। इसमें cookies कभी नहीं होतीं। नीचे का उदाहरण एक sample ID इस्तेमाल करता है; इसे अपनी ID से बदलें।
2. Actions से log in करें
इस body को अपने bearer token के साथ POST /v1/scrape पर भेजें। Site के हिसाब से URL और selectors बदलें। उस account के credentials इस्तेमाल करें जो आपका है या जिसे आप इस्तेमाल कर सकते हैं।
{
"url": "https://example.com/login",
"session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
"js_render": true,
"actions": [
{
"fill": {
"selector": "input[name=email]",
"value": "YOUR_EMAIL"
}
},
{
"fill": {
"selector": "input[name=password]",
"value": "YOUR_PASSWORD",
"secret": true
}
},
{
"click": "button[type=submit]"
},
{
"wait_for": ".account-menu"
}
]
}Email और password placeholders को runtime पर सुरक्षित तरीके से बदलें। Password action secret: true इस्तेमाल करता है। js_render: true रखें: अकेली session ID से browser-only fields की अनुमति नहीं मिलती।
3. उसी login से pages पढ़ें
Login सफल होने के बाद, हर scrape पर session_id भेजें। Cookies और storage साथ चलते हैं। Python और TypeScript create step के variables दोबारा इस्तेमाल करते हैं।
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'r = requests.post(f"{API}/v1/scrape", headers=headers, json={
"url": "https://example.com/account/orders", "session_id": session_id,
"js_render": True, "response_format": "markdown",
}, timeout=120)
r.raise_for_status()
print(r.text)const r = await fetch(`${API}/v1/scrape`, {
method: "POST", headers,
body: JSON.stringify({
url: "https://example.com/account/orders", session_id: sessionId,
js_render: true, response_format: "markdown",
}),
});
if (!r.ok) throw new Error(await r.text());
console.log(await r.text());spicrawl scrape https://example.com/account/orders --session 01J9ZQ4M7R3T8VX2K5N6P0B1CD --render --format markdownSession requests हमेशा result cache को bypass करती हैं। Cache-State: bypass जाँचें; page हर बार नया fetch होता है।
4. Session release करें
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
-H "Authorization: Bearer $SPICRAWL_API_KEY"Release cookies और storage को delete कर देता है। यह login को नहीं रखता। उस ID पर बाद की requests 410 ERR::SESSION::RELEASED लौटाती हैं।
Session options
| Option | जानने लायक बातें |
|---|---|
engine | Session की पूरी उम्र के लिए fixed। कोई scrape अलग engine नहीं चुन सकता। अगर आप इसे छोड़ दें तो create response जाँचें। |
ttl_seconds | Default 1,800 seconds; कम से कम 30। सफल scrape उम्र बढ़ा देता है, पर कभी hard_expires_at से आगे नहीं। |
session_context | Active session से saved cookies और storage restore करें। Saved context 1 MiB तक सीमित है। |
Release से पहले login save करने के लिए GET /v1/sessions/{id}/context पढ़ें। उस state को सुरक्षित रखें, फिर नया session बनाते समय उसे session_context के रूप में भेजें।
इसकी कीमत क्या है
Beta के दौरान free। Sessions बनाने, पढ़ने और release करने की कोई कीमत नहीं। हर scrape की कीमत session के rendering tier से तय होती है: fetch 1 credit, js 3, browser 8। Failures, जिनमें busy या expired session शामिल है, पर 0 लगता है।
जानने लायक बातें
- हर session पर एक बार में एक request। दूसरा render
409 ERR::SESSION::BUSYलौटाता है,Retry-Afterके साथ। Parallel काम के लिए हर worker को अपना एक session दें। - Expired sessions को नए login की ज़रूरत होती है। अज्ञात, delete की गई या गलत ID पर error मिलता है; request अपने session के बिना कभी नहीं चलती।
- आपका अपना proxy: उन sites के लिए fixed exit इस्तेमाल करें जो IP बदलने पर login पर challenge देती हैं। Managed session exits जल्द आ रहे हैं।
- Crawling नहीं। URLs आप देते हैं। Managed proxies, stealth, remote browser और prompt से extraction जल्द आ रहे हैं।
- आपकी ज़िम्मेदारी: सिर्फ़ वही accounts और pages इस्तेमाल करें जिन तक पहुँचने का आपको अधिकार है। हमारे terms पढ़ें।
अक्सर पूछे जाने वाले सवाल
मैं login के पीछे की website कैसे scrape करूँ?
Session बनाएँ, browser actions से log in करें, फिर हर scrape पर उसकी ID को session_id के रूप में भेजें। Actions और दूसरे browser-only fields के लिए js_render: true इस्तेमाल करें। सिर्फ़ वही accounts और pages इस्तेमाल करें जिन्हें access करने का आपको अधिकार है।
Session क्या रखता है?
Session requests के बीच cookies और browser storage बनाए रखता है। इसका engine उसकी पूरी उम्र के लिए तय रहता है। सामान्य session response में cookies कभी नहीं होतीं; session चालू रहने तक context endpoint saved state लौटाता है।
क्या मैं एक session पर एक साथ कई requests भेज सकता हूँ?
नहीं। हर session पर एक बार में एक request भेजें। Render चलते समय दूसरी request Retry-After के साथ 409 ERR::SESSION::BUSY लौटाती है। Parallel काम के लिए हर worker पर एक session बनाएँ।
Session release करने पर क्या होता है?
Release उसकी cookies और storage delete कर देता है। यह बाद के लिए login नहीं रखता। Released ID से scrape करने पर 410 ERR::SESSION::RELEASED लौटता है। अगर आपको नए session में restore करना हो तो release से पहले context save कर लें।
Sessions की कीमत कितनी है?
Sessions बनाने, पढ़ने और release करने की कोई कीमत नहीं। हर scrape की कीमत session के rendering tier से तय होती है: fetch के लिए 1 credit, js के लिए 3 या browser के लिए 8। Failed requests की कीमत 0। Beta के दौरान Spicrawl free है।