Spicrawl werkt nu met OpenAI Agents SDK, LangChain, Codex, Claude Code en meer.Bekijk integraties
Naar inhoud springen

Scrape JavaScript-websites

Stuur een URL die JavaScript nodig heeft. Krijg de pagina terug als schone Markdown of JSON.

Spicrawl-controlepaneel
Automatisch opschalen
Browser
Fingerprint
Proxy
Beheerde proxy's: binnenkort
Sessie
Acties
Assets blokkeren
Netwerkcapture
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
Voorbeeld van responseheaders
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
hit
X-Credits-Charged
3
Browser

Render JavaScript in een echte browser voordat de pagina wordt gelezen.

Alleen een voorbeeld, geen live verzoek. De beta is gratis.

Een gerenderde pagina, in het formaat dat je nodig hebt

Zie hoe pagina-inhoud Markdown, JSON of HTML wordt. Deze voorbeelden tonen de uitvoer, geen live verzoek.

example.com/product/1
Maak kennis met Model X — Precisie bij elke klik
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00Op voorraad★ 4.6 (1,284)
Ontvanger met lage latency op 2.4 GHz, 70 dagen batterijduur en stille schakelaars.
SpecWaarde
Verbinding2.4 GHz, BT5Batterij70 dagen
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · Op voorraad · 4.6 (1.284 reviews)Lage-latency 2.4 GHz-ontvanger, 70-day batterijduuren stille omschakelingen.| Spec      | Value        || --------- | ------------ || Verbinding| 2.4 GHz, BT5 || Batterij  | 70 dagen     |
De pagina lezen
Ruwe HTML12.480 tokens
Markdown0 tokens

Menu's, footers en advertenties verwijderd: 3% tot 24% van de tokens van de ruwe HTML. Voorbeeldpagina.

Hoe het werkt

  1. Stuur de pagina-URL naar POST /v1/scrape met js_render: true.
  2. Wacht op de inhoud. Stel wait_for in op een CSS-selector, zoals .price.
  3. Haal de gerenderde pagina op in het formaat dat je kiest. De voorbeelden hieronder geven Markdown terug.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

Bewaar je sleutel in SPICRAWL_API_KEY. Zet hem nooit in browsercode of een bestand dat je commit.

Wanneer je JavaScript rendert

Een gewoon verzoek downloadt HTML zonder scripts uit te voeren. Als het resultaat een lege schil of een “Laden…”-bericht is, heeft de pagina mogelijk JavaScript nodig. Stel js_render: true in om het in een browser uit te voeren voordat het wordt gelezen.

Gebruik een gewoon verzoek voor inhoud die al in de HTML staat. Rendering is ook nodig voor browseracties, resources blokkeren en netwerkcapture.

Wacht op de juiste inhoud

OptieWat het doet
wait_forWacht tot een CSS-selector verschijnt voor de capture.
wait_for_timeoutStel de wachtlimiet in van 0 tot 120.000 ms. Vereist wait_for; 0 gebruikt de standaard.
waitVoeg na het laden een vaste vertraging toe van 0 tot 30.000 ms. Geef de voorkeur aan een selector als dat kan.
block_resourcesKies welke assets je overslaat. Afbeeldingen en lettertypen worden standaard geblokkeerd, met uitzonderingen voor acties en captures.
response_formatKies Markdown, JSON of HTML voor de pagina-inhoud.

Een expliciete resourcelijst vervangt de standaard. Gebruik ["none"] om niets te blokkeren. Blokkeer geen scripts wanneer de pagina ze nodig heeft om zijn inhoud op te bouwen.

Controleer het resultaat

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine vertelt welk renderniveau draaide (fetch, js of browser). X-Target-Status is de status van de site, terwijl X-Credits-Charged de kosten toont.

Als wait_for nooit overeenkomt, kan de pagina terugkomen zoals hij was, met X-Warning: RENDER_DEGRADED. Controleer de inhoud en de waarschuwing voordat je hem gebruikt.

Rendering-tiers en kosten

  • Gratis tijdens de beta. Credits tonen de kosten van elk verzoek.
  • JavaScript-rendering: js_render: true kost 3 credits per geslaagd verzoek.
  • Volledige browserrendering: kost 8 credits. Screenshots, PDF's en acties gebruiken het, en Spicrawl stuurt het verzoek er voor je naartoe. Als een deployment het gebruikelijke niveau niet kan leveren, kan het het volgende niveau gebruiken en X-Warning: ENGINE_SUBSTITUTED teruggeven; gebruik max_cost om een hogere prijs te weigeren.
  • Je kiest de tier niet. Spicrawl kiest het op basis van wat het verzoek nodig heeft en rekent het niveau dat het leverde.
  • Mislukkingen kosten 0. Wachten en resourceblokkering kosten niets extra. Stel max_cost in om een verzoek te begrenzen.

Goed om te weten

  • Kies rendering of auto mode. mode: "auto" kan niet worden gecombineerd met js_render. Het begint met fetch en schaalt op naar JavaScript-rendering en daarna full-browser-rendering, alleen als de vorige stap op een challenge stuit.
  • Browservlaggen hebben een browser nodig. Het sturen van wait_for, acties of resourceblokkering zonder js_render geeft een fout.
  • Geen crawling. Stuur de URL's die je wilt; Spicrawl zoekt geen pagina's en volgt geen links.
  • Binnenkort: beheerde proxy's, stealth-modus, een remote browser en extractie op basis van een prompt in gewone taal.
  • Jouw verantwoordelijkheid: haal alleen pagina's op die je mag gebruiken. Lees onze voorwaarden.

Veelgestelde vragen

Hoe scrape ik een JavaScript-website?

Stuur de pagina-URL naar POST https://api.spicrawl.com/v1/scrape met js_render op true. De browser voert de scripts uit voordat Spicrawl de pagina leest. Kies response_format voor Markdown, JSON of HTML.

Hoe wacht ik tot de inhoud is geladen?

Stel wait_for in op een CSS-selector, zoals .price. Gebruik wait_for_timeout om een timeout tot 120000 milliseconden in te stellen. Als de selector nooit overeenkomt, kan de pagina terugkomen zoals hij was met X-Warning: RENDER_DEGRADED. Controleer de waarschuwing voordat je het resultaat gebruikt.

Wat kost JavaScript-rendering?

Spicrawl is gratis tijdens de beta. Geslaagde JavaScript-renders gebruiken 3 credits; full-browser-rendering gebruikt 8. Als een deployment geen JavaScript-rendering kan leveren, kan js_render worden geleverd door full-browser-rendering en tegen die prijs worden gerekend. Mislukte verzoeken gebruiken 0 credits. Lees X-Engine (fetch, js of browser) en X-Credits-Charged om te zien wat er draaide.

Kan ik auto mode gebruiken met JavaScript-rendering?

Nee. mode: auto kan niet worden gecombineerd met js_render. Auto mode begint met een gewoon verzoek en schaalt op naar JavaScript-rendering en daarna volledige browserrendering als het resultaat onbruikbaar is. Gebruik voor pagina's waarvan je weet dat ze JavaScript nodig hebben js_render: true.

Kan het een JavaScript-website crawlen?

Nee. Spicrawl vindt geen URL's en volgt geen links. Stuur de pagina-URL's die je wilt lezen. Haal alleen pagina's op die je mag gebruiken.