Scrapuj strony JavaScript
Wyślij adres URL wymagający JavaScriptu. Dostań stronę jako czysty Markdown lub JSON.
{ "url": "https://shop.example/product/1", "js_render": true, "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- bezpośrednio
- Cache-State
- trafienie
- X-Credits-Charged
- 3
Zaczyna od zwykłego żądania i przechodzi do przeglądarki tylko wtedy, gdy strona je blokuje. Zablokowane żądania nic nie kosztują.
Renderuj JavaScript w prawdziwej przeglądarce, zanim strona zostanie odczytana.
Zwykłe żądania niosą TLS i fingerprint HTTP/2 prawdziwej przeglądarki.
Bezpośrednie połączenie lub własne proxy, bez dopłaty.
Zachowuj ciasteczka i storage między żądaniami, aby logowanie się przenosiło.
Klikaj, wpisuj, przewijaj i uruchamiaj JavaScript, zanim strona zostanie odczytana.
Pomijaj obrazy, czcionki i media dla szybszego ładowania.
Nagrywaj wywołania API, które strona wykonuje podczas ładowania.
Domyślnie włączone na 48 godzin. Powtórzenia są szybsze, rozliczane tak samo.
Wyrenderowana strona w potrzebnym formacie
Zobacz, jak zawartość strony staje się Markdown, JSON lub HTML. Te przykłady pokazują wynik, a nie żądanie na żywo.


# Wireless Mouse — Model X**$49.00** · In stock · 4.6 (1,284 reviews)Low-latency 2.4 GHz receiver, 70-day battery lifei ciche przełączniki.| Spec | Value || --------- | ------------ || Connection| 2.4 GHz, BT5 || Battery | 70 days |Menu, stopki i reklamy usunięte: od 3% do 24% tokenów surowego HTML. Przykładowa strona.
Pełna odpowiedź: status, adres URL, silnik i dane. Przykładowa strona.
Informacje o stronie, reguły CSS lub JSON Schema z selektorami. Przykładowa strona.
Kroki do wykonania na stronie, w renderowaniu w pełnej przeglądarce.
Jak to działa
- Wyślij adres URL strony na
POST /v1/scrapezjs_render: true. - Poczekaj na treść. Ustaw
wait_forna selektor CSS, na przykład.price. - Pobierz wyrenderowaną stronę w wybranym formacie. Poniższe przykłady zwracają Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "js_render": True, "wait_for": ".price", "response_format": "markdown"},
timeout=180,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", js_render: true, wait_for: ".price", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --render --wait-for .price --format markdown --metaTrzymaj klucz w SPICRAWL_API_KEY. Nigdy nie umieszczaj go w kodzie przeglądarki ani w pliku, który commitujesz.
Kiedy renderować JavaScript
Zwykłe żądanie pobiera HTML bez uruchamiania skryptów. Jeśli wynik to pusta powłoka lub komunikat „Ładowanie…”, strona może wymagać JavaScriptu. Ustaw js_render: true, aby uruchomić ją w przeglądarce przed odczytem.
Użyj zwykłego żądania dla treści, która jest już w HTML. Renderowanie jest potrzebne też dla akcji w przeglądarce, blokowania zasobów i przechwytywania sieci.
Poczekaj na właściwą treść
| Opcja | Co robi |
|---|---|
wait_for | Poczekaj, aż pojawi się selektor CSS, przed przechwyceniem. |
wait_for_timeout | Ustaw limit oczekiwania od 0 do 120,000 ms. Wymaga wait_for; 0 używa wartości domyślnej. |
wait | Dodaj stałe opóźnienie od 0 do 30,000 ms po załadowaniu. Gdy możesz, wolisz selektor. |
block_resources | Wybierz, które zasoby pominąć. Obrazy i czcionki są domyślnie blokowane, z wyjątkami dla akcji i przechwytywania. |
response_format | Wybierz Markdown, JSON lub HTML dla treści strony. |
Jawna lista zasobów zastępuje domyślną. Użyj ["none"], aby nic nie blokować. Nie blokuj skryptów, gdy strona potrzebuje ich do zbudowania treści.
Sprawdź wynik
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3X-Engine mówi, który poziom renderowania się wykonał (fetch, js lub browser). X-Target-Status to status witryny, a X-Credits-Charged pokazuje naliczoną opłatę.
Jeśli wait_for nigdy nie pasuje, strona może wrócić w takim stanie, w jakim była, z X-Warning: RENDER_DEGRADED. Sprawdź treść i ostrzeżenie, zanim jej użyjesz.
Poziomy renderowania i koszt
- Bezpłatne w becie. Kredyty pokazują koszt każdego żądania.
- Renderowanie JavaScriptu:
js_render: truekosztuje 3 kredyty za udane żądanie. - Renderowanie w pełnej przeglądarce: kosztuje 8 kredytów. Używają go zrzuty ekranu, PDF-y i akcje, a Spicrawl kieruje tam żądanie za Ciebie. Jeśli wdrożenie nie może obsłużyć zwykłego poziomu, może użyć następnego wyżej i zwrócić
X-Warning: ENGINE_SUBSTITUTED; ustawmax_cost, aby odmówić wyższej ceny. - Nie wybierasz poziomu. Spicrawl dobiera go do potrzeb żądania i rozlicza poziom, który je obsłużył.
- Błędy kosztują 0. Czekanie i blokowanie zasobów nie dodają opłat. Ustaw
max_cost, aby ograniczyć żądanie.
Warto wiedzieć
- Wybierz renderowanie lub tryb auto.
mode: "auto"nie można łączyć zjs_render. Zaczyna od zwykłego pobrania, przechodzi do renderowania JavaScriptu, a potem do renderowania w pełnej przeglądarce, tylko gdy poprzedni krok napotka zabezpieczenie. - Flagi przeglądarki wymagają przeglądarki. Wysłanie
wait_for, akcji lub blokowania zasobów bezjs_renderzwraca błąd. - Bez crawlowania. Wyślij adresy URL, które chcesz; Spicrawl nie wyszukuje stron ani nie podąża za linkami.
- Wkrótce: zarządzane proxy, tryb stealth, zdalna przeglądarka i ekstrakcja z promptu w zwykłym języku.
- Twoja odpowiedzialność: pobieraj tylko strony, do których masz prawo. Przeczytaj nasz regulamin.
Najczęściej zadawane pytania
Jak scrapować stronę JavaScript?
Wyślij adres URL strony na POST https://api.spicrawl.com/v1/scrape z js_render ustawionym na true. Przeglądarka uruchamia skrypty, zanim Spicrawl odczyta stronę. Wybierz response_format dla Markdown, JSON lub HTML.
Jak poczekać na załadowanie treści?
Ustaw wait_for na selektor CSS, taki jak .price. Użyj wait_for_timeout, aby ustawić limit czasu do 120000 milisekund. Jeśli selektor nigdy nie pasuje, strona może wrócić w stanie, w jakim była, z X-Warning: RENDER_DEGRADED. Sprawdź ostrzeżenie, zanim użyjesz wyniku.
Ile kosztuje renderowanie JavaScriptu?
Spicrawl jest bezpłatny w becie. Udane renderowania JavaScriptu zużywają 3 kredyty; renderowanie w pełnej przeglądarce zużywa 8. Jeśli wdrożenie nie może obsłużyć renderowania JavaScriptu, js_render może zostać obsłużone renderowaniem w pełnej przeglądarce i rozliczone po tej cenie. Nieudane żądania zużywają 0 kredytów. Odczytaj X-Engine (fetch, js lub browser) i X-Credits-Charged, aby sprawdzić, co się wykonało.
Czy mogę używać trybu auto z renderowaniem JavaScriptu?
Nie. mode: auto nie można łączyć z js_render. Tryb auto zaczyna od zwykłego żądania i przechodzi do renderowania JavaScriptu, a potem do renderowania w pełnej przeglądarce, gdy wynik jest bezużyteczny. Dla stron, o których wiesz, że wymagają JavaScriptu, użyj zamiast tego js_render: true.
Czy potrafi crawlować stronę JavaScript?
Nie. Spicrawl nie znajduje adresów URL ani nie podąża za linkami. Wyślij adresy URL stron, które chcesz czytać. Pobieraj tylko strony, do których masz prawo.