Giriş arkasındaki web sitelerini scrape edin
Bir kez giriş yapın ve giriş yapılmış kalın. Hesap sayfalarınızı tek bir API ile okuyun.
{ "url": "https://shop.example/product/1", "js_render": true, "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- doğrudan
- Cache-State
- aşma
- X-Credits-Charged
- 3
Düz bir istekle başlar ve yalnızca site engellerse tarayıcıya yükselir. Engellenen istekler ücretsizdir.
Sayfa okunmadan önce JavaScript’i gerçek bir tarayıcıda işleyin.
Düz istekler gerçek bir tarayıcının TLS ve HTTP/2 parmak izini taşır.
Doğrudan bağlantı veya kendi proxy’niz, ek ücret yok.
İstekler arasında çerezleri ve depolamayı koruyun, böylece giriş devam eder.
Sayfa okunmadan önce tıklayın, yazın, kaydırın ve JavaScript çalıştırın.
Daha hızlı yüklemeler için görselleri, yazı tiplerini ve medyayı atlayın.
Sayfanın yüklenirken yaptığı API çağrılarını kaydedin.
Varsayılan olarak 48 saat açık. Tekrarlar daha hızlıdır, aynı şekilde faturalanır.
Girişi istekler arasında koruyun
Bir oturum, okuduğunuz sayfalar arasında tek bir çerez kabını paylaşır. Bu örnek akışı gösterir, canlı bir istek değildir.
const s = await fetch("https://api.spicrawl.com/v1/sessions", method: "POST", headers: Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );Nasıl çalışır
- Bir oturum oluşturun. Yanıttaki kimliği saklayın.
- Tarayıcı eylemleriyle giriş yapın. Oturum kimliğini giriş isteğiyle birlikte gönderin.
- Hesap sayfalarını okuyun. Aynı kimliği kullanın, aynı anda tek istek.
- Oturumu serbest bırakın işiniz bittiğinde.
API anahtarınızın oturum oluşturup yönetmek için sessions kapsamına, birini kullanmak için scrape kapsamına ihtiyacı var. Anahtarı SPICRAWL_API_KEY içinde tutun.
1. Oturum oluşturun
curl https://api.spicrawl.com/v1/sessions \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"ttl_seconds": 7200}'import os, requests
API = "https://api.spicrawl.com"
headers = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
s = requests.post(f"{API}/v1/sessions", headers=headers,
json={"ttl_seconds": 7200}, timeout=30)
s.raise_for_status()
session_id = s.json()["id"]const API = "https://api.spicrawl.com";
const headers = {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
};
const s = await fetch(`${API}/v1/sessions`, {
method: "POST", headers,
body: JSON.stringify({ ttl_seconds: 7200 }),
});
if (!s.ok) throw new Error(await s.text());
const { id: sessionId } = await s.json();spicrawl sessions create --ttl 7200Yanıt id, engine, expires_at ve hard_expires_at alanlarını içerir. Çerezleri hiçbir zaman içermez. Aşağıdaki örnek örnek bir kimlik kullanır; kendi kimliğinizle değiştirin.
2. Eylemlerle giriş yapın
Bu gövdeyi bearer token’ınızla POST /v1/scrape adresine gönderin. URL’yi ve seçicileri siteye göre değiştirin. Sahibi olduğunuz veya kullanma izniniz olan bir hesabın kimlik bilgilerini kullanın.
{
"url": "https://example.com/login",
"session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
"js_render": true,
"actions": [
{
"fill": {
"selector": "input[name=email]",
"value": "YOUR_EMAIL"
}
},
{
"fill": {
"selector": "input[name=password]",
"value": "YOUR_PASSWORD",
"secret": true
}
},
{
"click": "button[type=submit]"
},
{
"wait_for": ".account-menu"
}
]
}E-posta ve parola yer tutucularını çalışma zamanında güvenli biçimde değiştirin. Parola eylemi secret: true kullanır. js_render: true değerini koruyun: yalnızca oturum kimliği, yalnızca tarayıcıya özgü alanlara izin vermez.
3. Aynı girişle sayfaları okuyun
Giriş başarılı olduktan sonra her scrape’te session_id gönderin. Çerezler ve depolama aktarılır. Python ve TypeScript, oluşturma adımındaki değişkenleri yeniden kullanır.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'r = requests.post(f"{API}/v1/scrape", headers=headers, json={
"url": "https://example.com/account/orders", "session_id": session_id,
"js_render": True, "response_format": "markdown",
}, timeout=120)
r.raise_for_status()
print(r.text)const r = await fetch(`${API}/v1/scrape`, {
method: "POST", headers,
body: JSON.stringify({
url: "https://example.com/account/orders", session_id: sessionId,
js_render: true, response_format: "markdown",
}),
});
if (!r.ok) throw new Error(await r.text());
console.log(await r.text());spicrawl scrape https://example.com/account/orders --session 01J9ZQ4M7R3T8VX2K5N6P0B1CD --render --format markdownOturum istekleri sonuç önbelleğini her zaman atlar. Cache-State: bypass değerini kontrol edin; sayfa yeniden çekilir.
4. Oturumu serbest bırakın
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
-H "Authorization: Bearer $SPICRAWL_API_KEY"Serbest bırakma çerezleri ve depolamayı siler. Girişi korumaz. O kimlikteki sonraki istekler 410 ERR::SESSION::RELEASED döndürür.
Oturum seçenekleri
| Seçenek | Bilinmesi gerekenler |
|---|---|
engine | Oturumun ömrü boyunca sabittir. Bir scrape farklı bir motor seçemez. Bunu atlarsanız create yanıtına bakın. |
ttl_seconds | Varsayılan 1.800 saniye; en az 30. Başarılı bir scrape ömrü uzatır, ancak asla hard_expires_at değerini aşmaz. |
session_context | Etkin bir oturumdan kaydedilen çerezleri ve depolamayı geri yükleyin. Kaydedilen bağlam 1 MiB ile sınırlıdır. |
Serbest bırakmadan önce bir girişi kaydetmek için GET /v1/sessions/{id}/context okuyun. Bu durumu güvenle saklayın, ardından yeni bir oturum oluştururken session_context olarak gönderin.
Maliyeti
Beta süresince ücretsiz. Oturum oluşturmak, okumak ve serbest bırakmak ücretsizdir. Her scrape oturumun işleme katmanına göre fiyatlanır: fetch 1 kredi, js 3, tarayıcı 8. Meşgul veya süresi dolmuş oturum dahil hatalar 0 tutar.
Bilmekte fayda var
- Aynı anda oturum başına bir istek. İkinci bir işleme
409 ERR::SESSION::BUSYveRetry-Afterdöndürür. Paralel işler için her worker’a ayrı bir oturum kullanın. - Süresi dolan oturumlar yeniden giriş gerektirir. Bilinmeyen, silinmiş veya hatalı biçimli bir kimlik hata döndürür; istek oturumu olmadan asla çalışmaz.
- Kendi proxy’niz: IP’si değişince girişi doğrulayan siteler için sabit bir çıkış kullanın. Yönetilen oturum çıkışları yakında.
- Crawl yok. URL’leri siz verirsiniz. Yönetilen proxy’ler, gizli mod, uzak tarayıcı ve bir prompt’tan çıkarma yakında.
- Sorumluluğunuz: yalnızca erişim hakkınız olan hesapları ve sayfaları kullanın. şartlar sayfamızı okuyun.
Sık sorulan sorular
Giriş arkasındaki bir web sitesini nasıl scrape ederim?
Bir oturum oluşturun, tarayıcı eylemleriyle giriş yapın, sonra her scrape’te kimliğini session_id olarak gönderin. Eylemler ve diğer yalnızca tarayıcıda çalışan alanlar için js_render: true kullanın. Yalnızca erişim hakkınız olan hesap ve sayfaları kullanın.
Bir oturum neyi saklar?
Bir oturum çerezleri ve tarayıcı depolamasını istekler arasında korur. Motor ömrü boyunca sabittir. Normal oturum yanıtı hiçbir zaman çerez içermez; oturum etkinken context uç noktası kayıtlı durumu döndürür.
Tek bir oturumda aynı anda birçok istek gönderebilir miyim?
Hayır. Oturum başına her seferinde bir istek gönderin. Bir işleme sürerken ikinci bir istek Retry-After ile 409 ERR::SESSION::BUSY döndürür. Paralel iş için her worker başına bir oturum oluşturun.
Bir oturumu serbest bıraktığımda ne olur?
Serbest bırakma çerezlerini ve depolamayı siler. Girişi ileride için korumaz. Serbest bırakılmış kimlikle yapılan bir scrape 410 ERR::SESSION::RELEASED döndürür. Yeni bir oturumda geri yüklemeniz gerekirse serbest bırakmadan önce bağlamı kaydedin.
Oturumlar ne kadara mal olur?
Oturum oluşturmak, okumak ve serbest bırakmak ücretsizdir. Her scrape, oturumun kullandığı işleme katmanına göre fiyatlanır: fetch için 1 kredi, js için 3 veya tarayıcı için 8. Başarısız istekler 0 kredi tutar. Spicrawl beta süresince ücretsizdir.