Spicrawl अब OpenAI Agents SDK, LangChain, Codex, Claude Code और अन्य के साथ काम करता है।Integrations देखें
Content पर जाएँ

Login के पीछे की websites scrape करें

एक बार log in करें और logged in रहें। एक API से अपने account pages पढ़ें।

Spicrawl control panel
Auto escalate
Browser
Fingerprint
Proxy
Managed proxies: जल्द आ रहे हैं
Session
Actions
Assets block करें
Network capture
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",  "cache": true,  "response_format": "markdown"}
Example response headers
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
bypass
X-Credits-Charged
3
Sessions

Requests के बीच cookies और storage रखें, ताकि login आगे चलता रहे।

सिर्फ़ example, live request नहीं। Beta free है।

Requests के बीच login बनाए रखें

एक session आपके पढ़े गए pages में एक cookie jar साझा करता है। यह example flow दिखाता है, live request नहीं।

Session बनाएँ
session.js
const s = await fetch("https://api.spicrawl.com/v1/sessions",   method: "POST",  headers:  Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );

यह कैसे काम करता है

  1. Session बनाएँ। Response से ID संभालकर रखें।
  2. Browser actions से log in करें। Login request के साथ session ID भेजें।
  3. Account pages पढ़ें। वही ID दोबारा इस्तेमाल करें, एक बार में एक request।
  4. Session release करें जब आपका काम पूरा हो जाए।

Sessions बनाने और संभालने के लिए आपकी API key को sessions scope चाहिए, और किसी session को इस्तेमाल करने के लिए scrape। इसे SPICRAWL_API_KEY में रखें।

1. Session बनाएँ

curl https://api.spicrawl.com/v1/sessions \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"ttl_seconds": 7200}'

Response में id, engine, expires_at और hard_expires_at होते हैं। इसमें cookies कभी नहीं होतीं। नीचे का उदाहरण एक sample ID इस्तेमाल करता है; इसे अपनी ID से बदलें।

2. Actions से log in करें

इस body को अपने bearer token के साथ POST /v1/scrape पर भेजें। Site के हिसाब से URL और selectors बदलें। उस account के credentials इस्तेमाल करें जो आपका है या जिसे आप इस्तेमाल कर सकते हैं।

json
{
  "url": "https://example.com/login",
  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
  "js_render": true,
  "actions": [
    {
      "fill": {
        "selector": "input[name=email]",
        "value": "YOUR_EMAIL"
      }
    },
    {
      "fill": {
        "selector": "input[name=password]",
        "value": "YOUR_PASSWORD",
        "secret": true
      }
    },
    {
      "click": "button[type=submit]"
    },
    {
      "wait_for": ".account-menu"
    }
  ]
}

Email और password placeholders को runtime पर सुरक्षित तरीके से बदलें। Password action secret: true इस्तेमाल करता है। js_render: true रखें: अकेली session ID से browser-only fields की अनुमति नहीं मिलती।

3. उसी login से pages पढ़ें

Login सफल होने के बाद, हर scrape पर session_id भेजें। Cookies और storage साथ चलते हैं। Python और TypeScript create step के variables दोबारा इस्तेमाल करते हैं।

curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'

Session requests हमेशा result cache को bypass करती हैं। Cache-State: bypass जाँचें; page हर बार नया fetch होता है।

4. Session release करें

bash
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
  -H "Authorization: Bearer $SPICRAWL_API_KEY"

Release cookies और storage को delete कर देता है। यह login को नहीं रखता। उस ID पर बाद की requests 410 ERR::SESSION::RELEASED लौटाती हैं।

Session options

Optionजानने लायक बातें
engineSession की पूरी उम्र के लिए fixed। कोई scrape अलग engine नहीं चुन सकता। अगर आप इसे छोड़ दें तो create response जाँचें।
ttl_secondsDefault 1,800 seconds; कम से कम 30। सफल scrape उम्र बढ़ा देता है, पर कभी hard_expires_at से आगे नहीं।
session_contextActive session से saved cookies और storage restore करें। Saved context 1 MiB तक सीमित है।

Release से पहले login save करने के लिए GET /v1/sessions/{id}/context पढ़ें। उस state को सुरक्षित रखें, फिर नया session बनाते समय उसे session_context के रूप में भेजें।

इसकी कीमत क्या है

Beta के दौरान free। Sessions बनाने, पढ़ने और release करने की कोई कीमत नहीं। हर scrape की कीमत session के rendering tier से तय होती है: fetch 1 credit, js 3, browser 8। Failures, जिनमें busy या expired session शामिल है, पर 0 लगता है।

जानने लायक बातें

  • हर session पर एक बार में एक request। दूसरा render 409 ERR::SESSION::BUSY लौटाता है, Retry-After के साथ। Parallel काम के लिए हर worker को अपना एक session दें।
  • Expired sessions को नए login की ज़रूरत होती है। अज्ञात, delete की गई या गलत ID पर error मिलता है; request अपने session के बिना कभी नहीं चलती।
  • आपका अपना proxy: उन sites के लिए fixed exit इस्तेमाल करें जो IP बदलने पर login पर challenge देती हैं। Managed session exits जल्द आ रहे हैं।
  • Crawling नहीं। URLs आप देते हैं। Managed proxies, stealth, remote browser और prompt से extraction जल्द आ रहे हैं।
  • आपकी ज़िम्मेदारी: सिर्फ़ वही accounts और pages इस्तेमाल करें जिन तक पहुँचने का आपको अधिकार है। हमारे terms पढ़ें।

अक्सर पूछे जाने वाले सवाल

मैं login के पीछे की website कैसे scrape करूँ?

Session बनाएँ, browser actions से log in करें, फिर हर scrape पर उसकी ID को session_id के रूप में भेजें। Actions और दूसरे browser-only fields के लिए js_render: true इस्तेमाल करें। सिर्फ़ वही accounts और pages इस्तेमाल करें जिन्हें access करने का आपको अधिकार है।

Session क्या रखता है?

Session requests के बीच cookies और browser storage बनाए रखता है। इसका engine उसकी पूरी उम्र के लिए तय रहता है। सामान्य session response में cookies कभी नहीं होतीं; session चालू रहने तक context endpoint saved state लौटाता है।

क्या मैं एक session पर एक साथ कई requests भेज सकता हूँ?

नहीं। हर session पर एक बार में एक request भेजें। Render चलते समय दूसरी request Retry-After के साथ 409 ERR::SESSION::BUSY लौटाती है। Parallel काम के लिए हर worker पर एक session बनाएँ।

Session release करने पर क्या होता है?

Release उसकी cookies और storage delete कर देता है। यह बाद के लिए login नहीं रखता। Released ID से scrape करने पर 410 ERR::SESSION::RELEASED लौटता है। अगर आपको नए session में restore करना हो तो release से पहले context save कर लें।

Sessions की कीमत कितनी है?

Sessions बनाने, पढ़ने और release करने की कोई कीमत नहीं। हर scrape की कीमत session के rendering tier से तय होती है: fetch के लिए 1 credit, js के लिए 3 या browser के लिए 8। Failed requests की कीमत 0। Beta के दौरान Spicrawl free है।