Spicrawl kini bekerja dengan OpenAI Agents SDK, LangChain, Codex, Claude Code, dan lainnya.Lihat integrasi
Lewati ke konten

Scrape situs web di balik login

Login sekali dan tetap login. Baca halaman akun Anda dengan satu API.

Panel kontrol Spicrawl
Eskalasi otomatis
Browser
Fingerprint
Proxy
Proxy terkelola: segera hadir
Session
Aksi
Blokir aset
Capture jaringan
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",  "cache": true,  "response_format": "markdown"}
Contoh header respons
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
bypass
X-Credits-Charged
3
Session

Pertahankan cookie dan storage di antara permintaan, sehingga login terbawa.

Hanya contoh, bukan permintaan langsung. Beta ini gratis.

Pertahankan login di antara permintaan

Satu session berbagi satu cookie jar di semua halaman yang Anda baca. Contoh ini menunjukkan alurnya, bukan permintaan langsung.

Buat session
session.js
const s = await fetch("https://api.spicrawl.com/v1/sessions",   method: "POST",  headers:  Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );

Cara kerjanya

  1. Buat session. Simpan ID dari respons.
  2. Login dengan aksi browser. Kirim session ID bersama permintaan login.
  3. Baca halaman akun. Pakai ID yang sama, satu permintaan sekali waktu.
  4. Lepaskan session saat Anda selesai.

API key Anda memerlukan scope sessions untuk membuat dan mengelola session, dan scrape untuk memakainya. Simpan di SPICRAWL_API_KEY.

1. Buat session

curl https://api.spicrawl.com/v1/sessions \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"ttl_seconds": 7200}'

Respons menyertakan id, engine, expires_at, dan hard_expires_at. Respons tidak pernah menyertakan cookie. Contoh di bawah memakai ID contoh; ganti dengan ID Anda.

2. Login dengan aksi

Kirim body ini ke POST /v1/scrape dengan bearer token Anda. Ubah URL dan selector agar sesuai dengan situs. Gunakan kredensial untuk akun yang Anda miliki atau berhak Anda gunakan.

json
{
  "url": "https://example.com/login",
  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
  "js_render": true,
  "actions": [
    {
      "fill": {
        "selector": "input[name=email]",
        "value": "YOUR_EMAIL"
      }
    },
    {
      "fill": {
        "selector": "input[name=password]",
        "value": "YOUR_PASSWORD",
        "secret": true
      }
    },
    {
      "click": "button[type=submit]"
    },
    {
      "wait_for": ".account-menu"
    }
  ]
}

Ganti placeholder email dan password secara aman saat runtime. Aksi password memakai secret: true. Pertahankan js_render: true: session ID saja tidak mengizinkan field khusus browser.

3. Baca halaman dengan login yang sama

Setelah login berhasil, kirim session_id pada setiap scrape. Cookie dan storage terbawa. Python dan TypeScript memakai ulang variabel dari langkah pembuatan.

curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'

Permintaan session selalu melewati cache hasil. Periksa Cache-State: bypass; halaman diambil baru.

4. Lepaskan session

bash
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
  -H "Authorization: Bearer $SPICRAWL_API_KEY"

Pelepasan menghapus cookie dan storage. Login tidak disimpan. Permintaan berikutnya pada ID itu mengembalikan 410 ERR::SESSION::RELEASED.

Opsi session

OpsiYang perlu diketahui
engineTetap selama masa hidup session. Scrape tidak dapat memilih engine yang berbeda. Periksa respons create jika Anda menghilangkannya.
ttl_secondsDefault 1,800 detik; minimum 30. Scrape yang berhasil memperpanjang masa pakai, tidak pernah melewati hard_expires_at.
session_contextPulihkan cookie dan storage yang disimpan dari session aktif. Context yang disimpan dibatasi 1 MiB.

Untuk menyimpan login sebelum dilepas, baca GET /v1/sessions/{id}/context. Simpan state itu dengan aman, lalu kirim sebagai session_context saat membuat session baru.

Berapa biayanya

Gratis selama beta. Membuat, membaca, dan melepaskan session tidak berbiaya. Setiap scrape dihargai menurut tingkat rendering session: fetch 1 kredit, js 3, browser 8. Kegagalan, termasuk session yang sibuk atau kedaluwarsa, berbiaya 0.

Perlu diketahui

  • Satu permintaan per session pada satu waktu. Render kedua mengembalikan 409 ERR::SESSION::BUSY dengan Retry-After. Gunakan satu session per worker untuk pekerjaan paralel.
  • Session yang kedaluwarsa memerlukan login baru. ID yang tidak dikenal, dihapus, atau salah format mengembalikan error; permintaan tidak pernah berjalan tanpa session-nya.
  • Proxy Anda sendiri: gunakan exit tetap untuk situs yang menantang login saat IP berubah. Exit session terkelola segera hadir.
  • Tidak ada crawl. Anda yang menyediakan URL. Proxy terkelola, stealth, browser jarak jauh, dan ekstraksi dari prompt segera hadir.
  • Tanggung jawab Anda: hanya gunakan akun dan halaman yang berhak Anda akses. Baca ketentuan kami.

Pertanyaan yang sering diajukan

Bagaimana cara melakukan scrape situs web di balik login?

Buat session, login dengan aksi browser, lalu kirim ID-nya sebagai session_id pada setiap scrape. Gunakan js_render: true untuk aksi dan field khusus browser lainnya. Gunakan hanya akun dan halaman yang berhak Anda akses.

Apa yang disimpan sebuah session?

Session menyimpan cookie dan storage browser di seluruh permintaan. Engine-nya tetap selama masa pakai session. Respons session yang normal tidak pernah berisi cookie; endpoint context mengembalikan state tersimpan selama session aktif.

Bisakah saya mengirim banyak permintaan pada satu session sekaligus?

Tidak. Kirim satu permintaan sekali per session. Permintaan kedua saat render berjalan mengembalikan 409 ERR::SESSION::BUSY dengan Retry-After. Untuk pekerjaan paralel, buat satu session per worker.

Apa yang terjadi saat saya melepaskan session?

Release menghapus cookie dan storage-nya. Login tidak dipertahankan untuk nanti. Scrape yang memakai ID yang sudah dilepas mengembalikan 410 ERR::SESSION::RELEASED. Simpan context sebelum release jika Anda perlu memulihkannya di session baru.

Berapa biaya session?

Membuat, membaca, dan melepaskan session tidak berbiaya. Setiap scrape dihargai menurut tingkat rendering yang dipakai session: 1 kredit untuk fetch, 3 untuk js, atau 8 untuk browser. Permintaan gagal berbiaya 0. Spicrawl gratis selama beta.