Spicrawl działa teraz z OpenAI Agents SDK, LangChain, Codex, Claude Code i nie tylko.Zobacz integracje
Przejdź do treści

Scrapuj strony za logowaniem

Zaloguj się raz i pozostań zalogowany. Czytaj strony swojego konta jednym API.

Panel Spicrawl
Automatyczna eskalacja
Przeglądarka
Fingerprint
Proxy
Zarządzane proxy: wkrótce
Sesja
Akcje
Blokuj zasoby
Przechwytywanie sieci
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",  "cache": true,  "response_format": "markdown"}
Przykładowe nagłówki odpowiedzi
X-Target-Status
200
X-Engine
js
X-Proxy-Source
bezpośrednio
Cache-State
bypass
X-Credits-Charged
3
Sesje

Zachowuj ciasteczka i storage między żądaniami, aby logowanie się przenosiło.

Tylko przykład, nie prawdziwe żądanie. Beta jest bezpłatna.

Zachowaj logowanie między żądaniami

Sesja współdzieli jeden zbiór ciasteczek między czytanymi stronami. Ten przykład pokazuje przebieg, a nie żądanie na żywo.

Utwórz sesję
session.js
const s = await fetch("https://api.spicrawl.com/v1/sessions",   method: "POST",  headers:  Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );

Jak to działa

  1. Utwórz sesję. Zachowaj ID z odpowiedzi.
  2. Zaloguj się akcjami w przeglądarce. Wyślij ID sesji razem z żądaniem logowania.
  3. Czytaj strony konta. Używaj tego samego ID, jedno żądanie naraz.
  4. Zwolnij sesję gdy skończysz.

Twój klucz API potrzebuje uprawnienia sessions, aby tworzyć sesje i nimi zarządzać, oraz scrape, aby ich używać. Trzymaj go w SPICRAWL_API_KEY.

1. Utwórz sesję

curl https://api.spicrawl.com/v1/sessions \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"ttl_seconds": 7200}'

Odpowiedź zawiera id, engine, expires_at i hard_expires_at. Nigdy nie zawiera ciasteczek. Poniższy przykład używa przykładowego ID; zastąp je swoim.

2. Zaloguj się za pomocą akcji

Wyślij tę treść na POST /v1/scrape ze swoim tokenem bearer. Zmień adres URL i selektory, aby pasowały do witryny. Użyj danych logowania do konta, którym zarządzasz lub które możesz używać.

json
{
  "url": "https://example.com/login",
  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
  "js_render": true,
  "actions": [
    {
      "fill": {
        "selector": "input[name=email]",
        "value": "YOUR_EMAIL"
      }
    },
    {
      "fill": {
        "selector": "input[name=password]",
        "value": "YOUR_PASSWORD",
        "secret": true
      }
    },
    {
      "click": "button[type=submit]"
    },
    {
      "wait_for": ".account-menu"
    }
  ]
}

Zastąp placeholdery e-maila i hasła bezpiecznie w czasie działania. Akcja hasła używa secret: true. Zachowaj js_render: true: samo ID sesji nie pozwala używać pól dostępnych tylko w przeglądarce.

3. Czytaj strony na tym samym logowaniu

Po udanym logowaniu przekazuj session_id przy każdym scrape. Ciasteczka i storage się przenoszą. Python i TypeScript używają zmiennych z kroku tworzenia.

curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'

Żądania sesji zawsze omijają cache wyników. Sprawdź Cache-State: bypass; strona jest pobierana na nowo.

4. Zwolnij sesję

bash
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
  -H "Authorization: Bearer $SPICRAWL_API_KEY"

Zwolnienie usuwa ciasteczka i storage. Nie zachowuje logowania. Późniejsze żądania z tym ID zwracają 410 ERR::SESSION::RELEASED.

Opcje sesji

OpcjaCo warto wiedzieć
engineStałe przez cały czas życia sesji. Scrape nie może wybrać innego silnika. Sprawdź odpowiedź na utworzenie sesji, jeśli to pominiesz.
ttl_secondsDomyślnie 1,800 sekund; minimum 30. Udany scrape wydłuża czas życia, ale nigdy poza hard_expires_at.
session_contextPrzywróć ciasteczka i storage zapisane z aktywnej sesji. Zapisany kontekst jest ograniczony do 1 MiB.

Aby zapisać logowanie przed zwolnieniem, odczytaj GET /v1/sessions/{id}/context. Przechowuj ten stan bezpiecznie, a potem przekaż go jako session_context przy tworzeniu nowej sesji.

Ile kosztuje

Bezpłatne w becie. Tworzenie, czytanie i zwalnianie sesji nic nie kosztuje. Każdy scrape jest wyceniany według poziomu renderowania sesji: fetch 1 kredyt, js 3, przeglądarka 8. Błędy, w tym zajęta lub wygasła sesja, kosztują 0.

Warto wiedzieć

  • Jedno żądanie na sesję naraz. Drugie renderowanie zwraca 409 ERR::SESSION::BUSY z Retry-After. Do pracy równoległej używaj jednej sesji na workera.
  • Wygasłe sesje wymagają ponownego logowania. Nieznane, usunięte lub nieprawidłowe ID zwraca błąd; żądanie nigdy nie wykona się bez swojej sesji.
  • Własne proxy: użyj stałego wyjścia dla witryn, które kwestionują logowanie przy zmianie IP. Zarządzane wyjścia sesji są wkrótce.
  • Bez crawlowania. Adresy URL dostarczasz Ty. Zarządzane proxy, stealth, zdalna przeglądarka i ekstrakcja z promptu są wkrótce.
  • Twoja odpowiedzialność: używaj tylko kont i stron, do których masz prawo dostępu. Przeczytaj nasz regulamin.

Najczęściej zadawane pytania

Jak scrapować stronę za logowaniem?

Utwórz sesję, zaloguj się akcjami w przeglądarce, a potem wysyłaj jej ID jako session_id w każdym scrapie. Używaj js_render: true dla akcji i innych pól dostępnych tylko w przeglądarce. Używaj tylko kont i stron, do których masz prawo dostępu.

Co zachowuje sesja?

Sesja zachowuje ciasteczka i storage przeglądarki między żądaniami. Silnik jest stały przez cały jej czas życia. Zwykła odpowiedź sesji nigdy nie zawiera ciasteczek; endpoint kontekstu zwraca zapisany stan, dopóki sesja jest aktywna.

Czy mogę wysyłać wiele żądań naraz w jednej sesji?

Nie. Wysyłaj jedno żądanie naraz na sesję. Drugie żądanie w trakcie renderowania zwraca 409 ERR::SESSION::BUSY z Retry-After. Do pracy równoległej utwórz jedną sesję na workera.

Co się dzieje, gdy zwolnię sesję?

Zwolnienie usuwa jej ciasteczka i storage. Nie zachowuje logowania na później. Scrape z użyciem zwolnionego ID zwraca 410 ERR::SESSION::RELEASED. Zapisz kontekst przed zwolnieniem, jeśli chcesz go odtworzyć w nowej sesji.

Ile kosztują sesje?

Tworzenie, czytanie i zwalnianie sesji nic nie kosztuje. Każdy scrape jest wyceniany według poziomu renderowania, którego używa sesja: 1 kredyt za fetch, 3 za js lub 8 za przeglądarkę. Nieudane żądania kosztują 0. Spicrawl jest bezpłatny w becie.