Scrape situs web di balik login
Login sekali dan tetap login. Baca halaman akun Anda dengan satu API.
{ "url": "https://shop.example/product/1", "js_render": true, "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- bypass
- X-Credits-Charged
- 3
Dimulai dengan permintaan biasa dan naik ke browser hanya jika situs memblokirnya. Permintaan yang diblokir tidak berbiaya.
Render JavaScript di browser sungguhan sebelum halaman dibaca.
Permintaan biasa membawa fingerprint TLS dan HTTP/2 browser sungguhan.
Koneksi langsung atau proxy Anda sendiri, tanpa biaya tambahan.
Pertahankan cookie dan storage di antara permintaan, sehingga login terbawa.
Klik, ketik, scroll, dan jalankan JavaScript sebelum halaman dibaca.
Lewati gambar, font, dan media agar pemuatan lebih cepat.
Rekam panggilan API yang dibuat halaman saat dimuat.
Aktif secara default selama 48 jam. Pengulangan lebih cepat, ditagih sama.
Pertahankan login di antara permintaan
Satu session berbagi satu cookie jar di semua halaman yang Anda baca. Contoh ini menunjukkan alurnya, bukan permintaan langsung.
const s = await fetch("https://api.spicrawl.com/v1/sessions", method: "POST", headers: Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );Cara kerjanya
- Buat session. Simpan ID dari respons.
- Login dengan aksi browser. Kirim session ID bersama permintaan login.
- Baca halaman akun. Pakai ID yang sama, satu permintaan sekali waktu.
- Lepaskan session saat Anda selesai.
API key Anda memerlukan scope sessions untuk membuat dan mengelola session, dan scrape untuk memakainya. Simpan di SPICRAWL_API_KEY.
1. Buat session
curl https://api.spicrawl.com/v1/sessions \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"ttl_seconds": 7200}'import os, requests
API = "https://api.spicrawl.com"
headers = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
s = requests.post(f"{API}/v1/sessions", headers=headers,
json={"ttl_seconds": 7200}, timeout=30)
s.raise_for_status()
session_id = s.json()["id"]const API = "https://api.spicrawl.com";
const headers = {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
};
const s = await fetch(`${API}/v1/sessions`, {
method: "POST", headers,
body: JSON.stringify({ ttl_seconds: 7200 }),
});
if (!s.ok) throw new Error(await s.text());
const { id: sessionId } = await s.json();spicrawl sessions create --ttl 7200Respons menyertakan id, engine, expires_at, dan hard_expires_at. Respons tidak pernah menyertakan cookie. Contoh di bawah memakai ID contoh; ganti dengan ID Anda.
2. Login dengan aksi
Kirim body ini ke POST /v1/scrape dengan bearer token Anda. Ubah URL dan selector agar sesuai dengan situs. Gunakan kredensial untuk akun yang Anda miliki atau berhak Anda gunakan.
{
"url": "https://example.com/login",
"session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
"js_render": true,
"actions": [
{
"fill": {
"selector": "input[name=email]",
"value": "YOUR_EMAIL"
}
},
{
"fill": {
"selector": "input[name=password]",
"value": "YOUR_PASSWORD",
"secret": true
}
},
{
"click": "button[type=submit]"
},
{
"wait_for": ".account-menu"
}
]
}Ganti placeholder email dan password secara aman saat runtime. Aksi password memakai secret: true. Pertahankan js_render: true: session ID saja tidak mengizinkan field khusus browser.
3. Baca halaman dengan login yang sama
Setelah login berhasil, kirim session_id pada setiap scrape. Cookie dan storage terbawa. Python dan TypeScript memakai ulang variabel dari langkah pembuatan.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'r = requests.post(f"{API}/v1/scrape", headers=headers, json={
"url": "https://example.com/account/orders", "session_id": session_id,
"js_render": True, "response_format": "markdown",
}, timeout=120)
r.raise_for_status()
print(r.text)const r = await fetch(`${API}/v1/scrape`, {
method: "POST", headers,
body: JSON.stringify({
url: "https://example.com/account/orders", session_id: sessionId,
js_render: true, response_format: "markdown",
}),
});
if (!r.ok) throw new Error(await r.text());
console.log(await r.text());spicrawl scrape https://example.com/account/orders --session 01J9ZQ4M7R3T8VX2K5N6P0B1CD --render --format markdownPermintaan session selalu melewati cache hasil. Periksa Cache-State: bypass; halaman diambil baru.
4. Lepaskan session
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
-H "Authorization: Bearer $SPICRAWL_API_KEY"Pelepasan menghapus cookie dan storage. Login tidak disimpan. Permintaan berikutnya pada ID itu mengembalikan 410 ERR::SESSION::RELEASED.
Opsi session
| Opsi | Yang perlu diketahui |
|---|---|
engine | Tetap selama masa hidup session. Scrape tidak dapat memilih engine yang berbeda. Periksa respons create jika Anda menghilangkannya. |
ttl_seconds | Default 1,800 detik; minimum 30. Scrape yang berhasil memperpanjang masa pakai, tidak pernah melewati hard_expires_at. |
session_context | Pulihkan cookie dan storage yang disimpan dari session aktif. Context yang disimpan dibatasi 1 MiB. |
Untuk menyimpan login sebelum dilepas, baca GET /v1/sessions/{id}/context. Simpan state itu dengan aman, lalu kirim sebagai session_context saat membuat session baru.
Berapa biayanya
Gratis selama beta. Membuat, membaca, dan melepaskan session tidak berbiaya. Setiap scrape dihargai menurut tingkat rendering session: fetch 1 kredit, js 3, browser 8. Kegagalan, termasuk session yang sibuk atau kedaluwarsa, berbiaya 0.
Perlu diketahui
- Satu permintaan per session pada satu waktu. Render kedua mengembalikan
409 ERR::SESSION::BUSYdenganRetry-After. Gunakan satu session per worker untuk pekerjaan paralel. - Session yang kedaluwarsa memerlukan login baru. ID yang tidak dikenal, dihapus, atau salah format mengembalikan error; permintaan tidak pernah berjalan tanpa session-nya.
- Proxy Anda sendiri: gunakan exit tetap untuk situs yang menantang login saat IP berubah. Exit session terkelola segera hadir.
- Tidak ada crawl. Anda yang menyediakan URL. Proxy terkelola, stealth, browser jarak jauh, dan ekstraksi dari prompt segera hadir.
- Tanggung jawab Anda: hanya gunakan akun dan halaman yang berhak Anda akses. Baca ketentuan kami.
Pertanyaan yang sering diajukan
Bagaimana cara melakukan scrape situs web di balik login?
Buat session, login dengan aksi browser, lalu kirim ID-nya sebagai session_id pada setiap scrape. Gunakan js_render: true untuk aksi dan field khusus browser lainnya. Gunakan hanya akun dan halaman yang berhak Anda akses.
Apa yang disimpan sebuah session?
Session menyimpan cookie dan storage browser di seluruh permintaan. Engine-nya tetap selama masa pakai session. Respons session yang normal tidak pernah berisi cookie; endpoint context mengembalikan state tersimpan selama session aktif.
Bisakah saya mengirim banyak permintaan pada satu session sekaligus?
Tidak. Kirim satu permintaan sekali per session. Permintaan kedua saat render berjalan mengembalikan 409 ERR::SESSION::BUSY dengan Retry-After. Untuk pekerjaan paralel, buat satu session per worker.
Apa yang terjadi saat saya melepaskan session?
Release menghapus cookie dan storage-nya. Login tidak dipertahankan untuk nanti. Scrape yang memakai ID yang sudah dilepas mengembalikan 410 ERR::SESSION::RELEASED. Simpan context sebelum release jika Anda perlu memulihkannya di session baru.
Berapa biaya session?
Membuat, membaca, dan melepaskan session tidak berbiaya. Setiap scrape dihargai menurut tingkat rendering yang dipakai session: 1 kredit untuk fetch, 3 untuk js, atau 8 untuk browser. Permintaan gagal berbiaya 0. Spicrawl gratis selama beta.