Spicrawl działa teraz z OpenAI Agents SDK, LangChain, Codex, Claude Code i nie tylko.Zobacz integracje
Przejdź do treści

Scrapuj strony JavaScript

Wyślij adres URL wymagający JavaScriptu. Dostań stronę jako czysty Markdown lub JSON.

Panel Spicrawl
Automatyczna eskalacja
Przeglądarka
Fingerprint
Proxy
Zarządzane proxy: wkrótce
Sesja
Akcje
Blokuj zasoby
Przechwytywanie sieci
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
Przykładowe nagłówki odpowiedzi
X-Target-Status
200
X-Engine
js
X-Proxy-Source
bezpośrednio
Cache-State
trafienie
X-Credits-Charged
3
Przeglądarka

Renderuj JavaScript w prawdziwej przeglądarce, zanim strona zostanie odczytana.

Tylko przykład, nie prawdziwe żądanie. Beta jest bezpłatna.

Wyrenderowana strona w potrzebnym formacie

Zobacz, jak zawartość strony staje się Markdown, JSON lub HTML. Te przykłady pokazują wynik, a nie żądanie na żywo.

example.com/product/1
Poznaj Model X — precyzja w każdym kliknięciu
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00Dostępny★ 4.6 (1,284)
Odbiornik 2.4 GHz o niskim opóźnieniu, 70 dni pracy na baterii i ciche przełączniki.
SpecyfikacjaWartość
Połączenie2.4 GHz, BT5Bateria70 dni
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · In stock · 4.6 (1,284 reviews)Low-latency 2.4 GHz receiver, 70-day battery lifei ciche przełączniki.| Spec      | Value        || --------- | ------------ || Connection| 2.4 GHz, BT5 || Battery   | 70 days      |
Czytanie strony
Surowy HTML12,480 tokenów
Markdown0 tokenów

Menu, stopki i reklamy usunięte: od 3% do 24% tokenów surowego HTML. Przykładowa strona.

Jak to działa

  1. Wyślij adres URL strony na POST /v1/scrape z js_render: true.
  2. Poczekaj na treść. Ustaw wait_for na selektor CSS, na przykład .price.
  3. Pobierz wyrenderowaną stronę w wybranym formacie. Poniższe przykłady zwracają Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

Trzymaj klucz w SPICRAWL_API_KEY. Nigdy nie umieszczaj go w kodzie przeglądarki ani w pliku, który commitujesz.

Kiedy renderować JavaScript

Zwykłe żądanie pobiera HTML bez uruchamiania skryptów. Jeśli wynik to pusta powłoka lub komunikat „Ładowanie…”, strona może wymagać JavaScriptu. Ustaw js_render: true, aby uruchomić ją w przeglądarce przed odczytem.

Użyj zwykłego żądania dla treści, która jest już w HTML. Renderowanie jest potrzebne też dla akcji w przeglądarce, blokowania zasobów i przechwytywania sieci.

Poczekaj na właściwą treść

OpcjaCo robi
wait_forPoczekaj, aż pojawi się selektor CSS, przed przechwyceniem.
wait_for_timeoutUstaw limit oczekiwania od 0 do 120,000 ms. Wymaga wait_for; 0 używa wartości domyślnej.
waitDodaj stałe opóźnienie od 0 do 30,000 ms po załadowaniu. Gdy możesz, wolisz selektor.
block_resourcesWybierz, które zasoby pominąć. Obrazy i czcionki są domyślnie blokowane, z wyjątkami dla akcji i przechwytywania.
response_formatWybierz Markdown, JSON lub HTML dla treści strony.

Jawna lista zasobów zastępuje domyślną. Użyj ["none"], aby nic nie blokować. Nie blokuj skryptów, gdy strona potrzebuje ich do zbudowania treści.

Sprawdź wynik

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine mówi, który poziom renderowania się wykonał (fetch, js lub browser). X-Target-Status to status witryny, a X-Credits-Charged pokazuje naliczoną opłatę.

Jeśli wait_for nigdy nie pasuje, strona może wrócić w takim stanie, w jakim była, z X-Warning: RENDER_DEGRADED. Sprawdź treść i ostrzeżenie, zanim jej użyjesz.

Poziomy renderowania i koszt

  • Bezpłatne w becie. Kredyty pokazują koszt każdego żądania.
  • Renderowanie JavaScriptu: js_render: true kosztuje 3 kredyty za udane żądanie.
  • Renderowanie w pełnej przeglądarce: kosztuje 8 kredytów. Używają go zrzuty ekranu, PDF-y i akcje, a Spicrawl kieruje tam żądanie za Ciebie. Jeśli wdrożenie nie może obsłużyć zwykłego poziomu, może użyć następnego wyżej i zwrócić X-Warning: ENGINE_SUBSTITUTED; ustaw max_cost, aby odmówić wyższej ceny.
  • Nie wybierasz poziomu. Spicrawl dobiera go do potrzeb żądania i rozlicza poziom, który je obsłużył.
  • Błędy kosztują 0. Czekanie i blokowanie zasobów nie dodają opłat. Ustaw max_cost, aby ograniczyć żądanie.

Warto wiedzieć

  • Wybierz renderowanie lub tryb auto. mode: "auto" nie można łączyć z js_render. Zaczyna od zwykłego pobrania, przechodzi do renderowania JavaScriptu, a potem do renderowania w pełnej przeglądarce, tylko gdy poprzedni krok napotka zabezpieczenie.
  • Flagi przeglądarki wymagają przeglądarki. Wysłanie wait_for, akcji lub blokowania zasobów bez js_render zwraca błąd.
  • Bez crawlowania. Wyślij adresy URL, które chcesz; Spicrawl nie wyszukuje stron ani nie podąża za linkami.
  • Wkrótce: zarządzane proxy, tryb stealth, zdalna przeglądarka i ekstrakcja z promptu w zwykłym języku.
  • Twoja odpowiedzialność: pobieraj tylko strony, do których masz prawo. Przeczytaj nasz regulamin.

Najczęściej zadawane pytania

Jak scrapować stronę JavaScript?

Wyślij adres URL strony na POST https://api.spicrawl.com/v1/scrape z js_render ustawionym na true. Przeglądarka uruchamia skrypty, zanim Spicrawl odczyta stronę. Wybierz response_format dla Markdown, JSON lub HTML.

Jak poczekać na załadowanie treści?

Ustaw wait_for na selektor CSS, taki jak .price. Użyj wait_for_timeout, aby ustawić limit czasu do 120000 milisekund. Jeśli selektor nigdy nie pasuje, strona może wrócić w stanie, w jakim była, z X-Warning: RENDER_DEGRADED. Sprawdź ostrzeżenie, zanim użyjesz wyniku.

Ile kosztuje renderowanie JavaScriptu?

Spicrawl jest bezpłatny w becie. Udane renderowania JavaScriptu zużywają 3 kredyty; renderowanie w pełnej przeglądarce zużywa 8. Jeśli wdrożenie nie może obsłużyć renderowania JavaScriptu, js_render może zostać obsłużone renderowaniem w pełnej przeglądarce i rozliczone po tej cenie. Nieudane żądania zużywają 0 kredytów. Odczytaj X-Engine (fetch, js lub browser) i X-Credits-Charged, aby sprawdzić, co się wykonało.

Czy mogę używać trybu auto z renderowaniem JavaScriptu?

Nie. mode: auto nie można łączyć z js_render. Tryb auto zaczyna od zwykłego żądania i przechodzi do renderowania JavaScriptu, a potem do renderowania w pełnej przeglądarce, gdy wynik jest bezużyteczny. Dla stron, o których wiesz, że wymagają JavaScriptu, użyj zamiast tego js_render: true.

Czy potrafi crawlować stronę JavaScript?

Nie. Spicrawl nie znajduje adresów URL ani nie podąża za linkami. Wyślij adresy URL stron, które chcesz czytać. Pobieraj tylko strony, do których masz prawo.