Spicrawl artık OpenAI Agents SDK, LangChain, Codex, Claude Code ve daha fazlasıyla çalışıyor.Entegrasyonları görün
İçeriğe geç

Giriş arkasındaki web sitelerini scrape edin

Bir kez giriş yapın ve giriş yapılmış kalın. Hesap sayfalarınızı tek bir API ile okuyun.

Spicrawl kontrol paneli
Otomatik yükseltme
Tarayıcı
Parmak izi
Proxy
Yönetilen proxy’ler: yakında
Oturum
Eylemler
Varlıkları engelle
Ağ yakalama
Önbellek
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",  "cache": true,  "response_format": "markdown"}
Örnek yanıt başlıkları
X-Target-Status
200
X-Engine
js
X-Proxy-Source
doğrudan
Cache-State
aşma
X-Credits-Charged
3
Oturumlar

İstekler arasında çerezleri ve depolamayı koruyun, böylece giriş devam eder.

Yalnızca örnek, canlı istek değil. Beta ücretsizdir.

Girişi istekler arasında koruyun

Bir oturum, okuduğunuz sayfalar arasında tek bir çerez kabını paylaşır. Bu örnek akışı gösterir, canlı bir istek değildir.

Bir oturum oluşturun
session.js
const s = await fetch("https://api.spicrawl.com/v1/sessions",   method: "POST",  headers:  Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );

Nasıl çalışır

  1. Bir oturum oluşturun. Yanıttaki kimliği saklayın.
  2. Tarayıcı eylemleriyle giriş yapın. Oturum kimliğini giriş isteğiyle birlikte gönderin.
  3. Hesap sayfalarını okuyun. Aynı kimliği kullanın, aynı anda tek istek.
  4. Oturumu serbest bırakın işiniz bittiğinde.

API anahtarınızın oturum oluşturup yönetmek için sessions kapsamına, birini kullanmak için scrape kapsamına ihtiyacı var. Anahtarı SPICRAWL_API_KEY içinde tutun.

1. Oturum oluşturun

curl https://api.spicrawl.com/v1/sessions \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"ttl_seconds": 7200}'

Yanıt id, engine, expires_at ve hard_expires_at alanlarını içerir. Çerezleri hiçbir zaman içermez. Aşağıdaki örnek örnek bir kimlik kullanır; kendi kimliğinizle değiştirin.

2. Eylemlerle giriş yapın

Bu gövdeyi bearer token’ınızla POST /v1/scrape adresine gönderin. URL’yi ve seçicileri siteye göre değiştirin. Sahibi olduğunuz veya kullanma izniniz olan bir hesabın kimlik bilgilerini kullanın.

json
{
  "url": "https://example.com/login",
  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
  "js_render": true,
  "actions": [
    {
      "fill": {
        "selector": "input[name=email]",
        "value": "YOUR_EMAIL"
      }
    },
    {
      "fill": {
        "selector": "input[name=password]",
        "value": "YOUR_PASSWORD",
        "secret": true
      }
    },
    {
      "click": "button[type=submit]"
    },
    {
      "wait_for": ".account-menu"
    }
  ]
}

E-posta ve parola yer tutucularını çalışma zamanında güvenli biçimde değiştirin. Parola eylemi secret: true kullanır. js_render: true değerini koruyun: yalnızca oturum kimliği, yalnızca tarayıcıya özgü alanlara izin vermez.

3. Aynı girişle sayfaları okuyun

Giriş başarılı olduktan sonra her scrape’te session_id gönderin. Çerezler ve depolama aktarılır. Python ve TypeScript, oluşturma adımındaki değişkenleri yeniden kullanır.

curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'

Oturum istekleri sonuç önbelleğini her zaman atlar. Cache-State: bypass değerini kontrol edin; sayfa yeniden çekilir.

4. Oturumu serbest bırakın

bash
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
  -H "Authorization: Bearer $SPICRAWL_API_KEY"

Serbest bırakma çerezleri ve depolamayı siler. Girişi korumaz. O kimlikteki sonraki istekler 410 ERR::SESSION::RELEASED döndürür.

Oturum seçenekleri

SeçenekBilinmesi gerekenler
engineOturumun ömrü boyunca sabittir. Bir scrape farklı bir motor seçemez. Bunu atlarsanız create yanıtına bakın.
ttl_secondsVarsayılan 1.800 saniye; en az 30. Başarılı bir scrape ömrü uzatır, ancak asla hard_expires_at değerini aşmaz.
session_contextEtkin bir oturumdan kaydedilen çerezleri ve depolamayı geri yükleyin. Kaydedilen bağlam 1 MiB ile sınırlıdır.

Serbest bırakmadan önce bir girişi kaydetmek için GET /v1/sessions/{id}/context okuyun. Bu durumu güvenle saklayın, ardından yeni bir oturum oluştururken session_context olarak gönderin.

Maliyeti

Beta süresince ücretsiz. Oturum oluşturmak, okumak ve serbest bırakmak ücretsizdir. Her scrape oturumun işleme katmanına göre fiyatlanır: fetch 1 kredi, js 3, tarayıcı 8. Meşgul veya süresi dolmuş oturum dahil hatalar 0 tutar.

Bilmekte fayda var

  • Aynı anda oturum başına bir istek. İkinci bir işleme 409 ERR::SESSION::BUSY ve Retry-After döndürür. Paralel işler için her worker’a ayrı bir oturum kullanın.
  • Süresi dolan oturumlar yeniden giriş gerektirir. Bilinmeyen, silinmiş veya hatalı biçimli bir kimlik hata döndürür; istek oturumu olmadan asla çalışmaz.
  • Kendi proxy’niz: IP’si değişince girişi doğrulayan siteler için sabit bir çıkış kullanın. Yönetilen oturum çıkışları yakında.
  • Crawl yok. URL’leri siz verirsiniz. Yönetilen proxy’ler, gizli mod, uzak tarayıcı ve bir prompt’tan çıkarma yakında.
  • Sorumluluğunuz: yalnızca erişim hakkınız olan hesapları ve sayfaları kullanın. şartlar sayfamızı okuyun.

Sık sorulan sorular

Giriş arkasındaki bir web sitesini nasıl scrape ederim?

Bir oturum oluşturun, tarayıcı eylemleriyle giriş yapın, sonra her scrape’te kimliğini session_id olarak gönderin. Eylemler ve diğer yalnızca tarayıcıda çalışan alanlar için js_render: true kullanın. Yalnızca erişim hakkınız olan hesap ve sayfaları kullanın.

Bir oturum neyi saklar?

Bir oturum çerezleri ve tarayıcı depolamasını istekler arasında korur. Motor ömrü boyunca sabittir. Normal oturum yanıtı hiçbir zaman çerez içermez; oturum etkinken context uç noktası kayıtlı durumu döndürür.

Tek bir oturumda aynı anda birçok istek gönderebilir miyim?

Hayır. Oturum başına her seferinde bir istek gönderin. Bir işleme sürerken ikinci bir istek Retry-After ile 409 ERR::SESSION::BUSY döndürür. Paralel iş için her worker başına bir oturum oluşturun.

Bir oturumu serbest bıraktığımda ne olur?

Serbest bırakma çerezlerini ve depolamayı siler. Girişi ileride için korumaz. Serbest bırakılmış kimlikle yapılan bir scrape 410 ERR::SESSION::RELEASED döndürür. Yeni bir oturumda geri yüklemeniz gerekirse serbest bırakmadan önce bağlamı kaydedin.

Oturumlar ne kadara mal olur?

Oturum oluşturmak, okumak ve serbest bırakmak ücretsizdir. Her scrape, oturumun kullandığı işleme katmanına göre fiyatlanır: fetch için 1 kredi, js için 3 veya tarayıcı için 8. Başarısız istekler 0 kredi tutar. Spicrawl beta süresince ücretsizdir.