Scrapuj strony za logowaniem
Zaloguj się raz i pozostań zalogowany. Czytaj strony swojego konta jednym API.
{ "url": "https://shop.example/product/1", "js_render": true, "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- bezpośrednio
- Cache-State
- bypass
- X-Credits-Charged
- 3
Zaczyna od zwykłego żądania i przechodzi do przeglądarki tylko wtedy, gdy strona je blokuje. Zablokowane żądania nic nie kosztują.
Renderuj JavaScript w prawdziwej przeglądarce, zanim strona zostanie odczytana.
Zwykłe żądania niosą TLS i fingerprint HTTP/2 prawdziwej przeglądarki.
Bezpośrednie połączenie lub własne proxy, bez dopłaty.
Zachowuj ciasteczka i storage między żądaniami, aby logowanie się przenosiło.
Klikaj, wpisuj, przewijaj i uruchamiaj JavaScript, zanim strona zostanie odczytana.
Pomijaj obrazy, czcionki i media dla szybszego ładowania.
Nagrywaj wywołania API, które strona wykonuje podczas ładowania.
Domyślnie włączone na 48 godzin. Powtórzenia są szybsze, rozliczane tak samo.
Zachowaj logowanie między żądaniami
Sesja współdzieli jeden zbiór ciasteczek między czytanymi stronami. Ten przykład pokazuje przebieg, a nie żądanie na żywo.
const s = await fetch("https://api.spicrawl.com/v1/sessions", method: "POST", headers: Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );Jak to działa
- Utwórz sesję. Zachowaj ID z odpowiedzi.
- Zaloguj się akcjami w przeglądarce. Wyślij ID sesji razem z żądaniem logowania.
- Czytaj strony konta. Używaj tego samego ID, jedno żądanie naraz.
- Zwolnij sesję gdy skończysz.
Twój klucz API potrzebuje uprawnienia sessions, aby tworzyć sesje i nimi zarządzać, oraz scrape, aby ich używać. Trzymaj go w SPICRAWL_API_KEY.
1. Utwórz sesję
curl https://api.spicrawl.com/v1/sessions \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"ttl_seconds": 7200}'import os, requests
API = "https://api.spicrawl.com"
headers = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
s = requests.post(f"{API}/v1/sessions", headers=headers,
json={"ttl_seconds": 7200}, timeout=30)
s.raise_for_status()
session_id = s.json()["id"]const API = "https://api.spicrawl.com";
const headers = {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
};
const s = await fetch(`${API}/v1/sessions`, {
method: "POST", headers,
body: JSON.stringify({ ttl_seconds: 7200 }),
});
if (!s.ok) throw new Error(await s.text());
const { id: sessionId } = await s.json();spicrawl sessions create --ttl 7200Odpowiedź zawiera id, engine, expires_at i hard_expires_at. Nigdy nie zawiera ciasteczek. Poniższy przykład używa przykładowego ID; zastąp je swoim.
2. Zaloguj się za pomocą akcji
Wyślij tę treść na POST /v1/scrape ze swoim tokenem bearer. Zmień adres URL i selektory, aby pasowały do witryny. Użyj danych logowania do konta, którym zarządzasz lub które możesz używać.
{
"url": "https://example.com/login",
"session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
"js_render": true,
"actions": [
{
"fill": {
"selector": "input[name=email]",
"value": "YOUR_EMAIL"
}
},
{
"fill": {
"selector": "input[name=password]",
"value": "YOUR_PASSWORD",
"secret": true
}
},
{
"click": "button[type=submit]"
},
{
"wait_for": ".account-menu"
}
]
}Zastąp placeholdery e-maila i hasła bezpiecznie w czasie działania. Akcja hasła używa secret: true. Zachowaj js_render: true: samo ID sesji nie pozwala używać pól dostępnych tylko w przeglądarce.
3. Czytaj strony na tym samym logowaniu
Po udanym logowaniu przekazuj session_id przy każdym scrape. Ciasteczka i storage się przenoszą. Python i TypeScript używają zmiennych z kroku tworzenia.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'r = requests.post(f"{API}/v1/scrape", headers=headers, json={
"url": "https://example.com/account/orders", "session_id": session_id,
"js_render": True, "response_format": "markdown",
}, timeout=120)
r.raise_for_status()
print(r.text)const r = await fetch(`${API}/v1/scrape`, {
method: "POST", headers,
body: JSON.stringify({
url: "https://example.com/account/orders", session_id: sessionId,
js_render: true, response_format: "markdown",
}),
});
if (!r.ok) throw new Error(await r.text());
console.log(await r.text());spicrawl scrape https://example.com/account/orders --session 01J9ZQ4M7R3T8VX2K5N6P0B1CD --render --format markdownŻądania sesji zawsze omijają cache wyników. Sprawdź Cache-State: bypass; strona jest pobierana na nowo.
4. Zwolnij sesję
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
-H "Authorization: Bearer $SPICRAWL_API_KEY"Zwolnienie usuwa ciasteczka i storage. Nie zachowuje logowania. Późniejsze żądania z tym ID zwracają 410 ERR::SESSION::RELEASED.
Opcje sesji
| Opcja | Co warto wiedzieć |
|---|---|
engine | Stałe przez cały czas życia sesji. Scrape nie może wybrać innego silnika. Sprawdź odpowiedź na utworzenie sesji, jeśli to pominiesz. |
ttl_seconds | Domyślnie 1,800 sekund; minimum 30. Udany scrape wydłuża czas życia, ale nigdy poza hard_expires_at. |
session_context | Przywróć ciasteczka i storage zapisane z aktywnej sesji. Zapisany kontekst jest ograniczony do 1 MiB. |
Aby zapisać logowanie przed zwolnieniem, odczytaj GET /v1/sessions/{id}/context. Przechowuj ten stan bezpiecznie, a potem przekaż go jako session_context przy tworzeniu nowej sesji.
Ile kosztuje
Bezpłatne w becie. Tworzenie, czytanie i zwalnianie sesji nic nie kosztuje. Każdy scrape jest wyceniany według poziomu renderowania sesji: fetch 1 kredyt, js 3, przeglądarka 8. Błędy, w tym zajęta lub wygasła sesja, kosztują 0.
Warto wiedzieć
- Jedno żądanie na sesję naraz. Drugie renderowanie zwraca
409 ERR::SESSION::BUSYzRetry-After. Do pracy równoległej używaj jednej sesji na workera. - Wygasłe sesje wymagają ponownego logowania. Nieznane, usunięte lub nieprawidłowe ID zwraca błąd; żądanie nigdy nie wykona się bez swojej sesji.
- Własne proxy: użyj stałego wyjścia dla witryn, które kwestionują logowanie przy zmianie IP. Zarządzane wyjścia sesji są wkrótce.
- Bez crawlowania. Adresy URL dostarczasz Ty. Zarządzane proxy, stealth, zdalna przeglądarka i ekstrakcja z promptu są wkrótce.
- Twoja odpowiedzialność: używaj tylko kont i stron, do których masz prawo dostępu. Przeczytaj nasz regulamin.
Najczęściej zadawane pytania
Jak scrapować stronę za logowaniem?
Utwórz sesję, zaloguj się akcjami w przeglądarce, a potem wysyłaj jej ID jako session_id w każdym scrapie. Używaj js_render: true dla akcji i innych pól dostępnych tylko w przeglądarce. Używaj tylko kont i stron, do których masz prawo dostępu.
Co zachowuje sesja?
Sesja zachowuje ciasteczka i storage przeglądarki między żądaniami. Silnik jest stały przez cały jej czas życia. Zwykła odpowiedź sesji nigdy nie zawiera ciasteczek; endpoint kontekstu zwraca zapisany stan, dopóki sesja jest aktywna.
Czy mogę wysyłać wiele żądań naraz w jednej sesji?
Nie. Wysyłaj jedno żądanie naraz na sesję. Drugie żądanie w trakcie renderowania zwraca 409 ERR::SESSION::BUSY z Retry-After. Do pracy równoległej utwórz jedną sesję na workera.
Co się dzieje, gdy zwolnię sesję?
Zwolnienie usuwa jej ciasteczka i storage. Nie zachowuje logowania na później. Scrape z użyciem zwolnionego ID zwraca 410 ERR::SESSION::RELEASED. Zapisz kontekst przed zwolnieniem, jeśli chcesz go odtworzyć w nowej sesji.
Ile kosztują sesje?
Tworzenie, czytanie i zwalnianie sesji nic nie kosztuje. Każdy scrape jest wyceniany według poziomu renderowania, którego używa sesja: 1 kredyt za fetch, 3 za js lub 8 za przeglądarkę. Nieudane żądania kosztują 0. Spicrawl jest bezpłatny w becie.