Scrape JavaScript-websites
Stuur een URL die JavaScript nodig heeft. Krijg de pagina terug als schone Markdown of JSON.
{ "url": "https://shop.example/product/1", "js_render": true, "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- hit
- X-Credits-Charged
- 3
Begint met een gewoon verzoek en gaat alleen naar een browser als de site het blokkeert. Geblokkeerde verzoeken kosten niets.
Render JavaScript in een echte browser voordat de pagina wordt gelezen.
Gewone verzoeken dragen de TLS- en HTTP/2-fingerprint van een echte browser.
Een directe verbinding of je eigen proxy, zonder toeslag.
Bewaar cookies en opslag tussen verzoeken, zodat een login blijft werken.
Klik, typ, scroll en voer JavaScript uit voordat de pagina wordt gelezen.
Sla afbeeldingen, lettertypen en media over voor snellere loads.
Neem de API-aanroepen op die de pagina doet tijdens het laden.
Standaard aan voor 48 uur. Herhalingen zijn sneller, gelijk gerekend.
Een gerenderde pagina, in het formaat dat je nodig hebt
Zie hoe pagina-inhoud Markdown, JSON of HTML wordt. Deze voorbeelden tonen de uitvoer, geen live verzoek.


# Wireless Mouse — Model X**$49.00** · Op voorraad · 4.6 (1.284 reviews)Lage-latency 2.4 GHz-ontvanger, 70-day batterijduuren stille omschakelingen.| Spec | Value || --------- | ------------ || Verbinding| 2.4 GHz, BT5 || Batterij | 70 dagen |Menu's, footers en advertenties verwijderd: 3% tot 24% van de tokens van de ruwe HTML. Voorbeeldpagina.
Het volledige antwoord: status, URL, engine en data. Voorbeeldpagina.
Pagina-info, CSS-regels of een JSON Schema met selectors. Voorbeeldpagina.
Stappen die op de pagina worden uitgevoerd, in volledige browserrendering.
Hoe het werkt
- Stuur de pagina-URL naar
POST /v1/scrapemetjs_render: true. - Wacht op de inhoud. Stel
wait_forin op een CSS-selector, zoals.price. - Haal de gerenderde pagina op in het formaat dat je kiest. De voorbeelden hieronder geven Markdown terug.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "js_render": True, "wait_for": ".price", "response_format": "markdown"},
timeout=180,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", js_render: true, wait_for: ".price", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --render --wait-for .price --format markdown --metaBewaar je sleutel in SPICRAWL_API_KEY. Zet hem nooit in browsercode of een bestand dat je commit.
Wanneer je JavaScript rendert
Een gewoon verzoek downloadt HTML zonder scripts uit te voeren. Als het resultaat een lege schil of een “Laden…”-bericht is, heeft de pagina mogelijk JavaScript nodig. Stel js_render: true in om het in een browser uit te voeren voordat het wordt gelezen.
Gebruik een gewoon verzoek voor inhoud die al in de HTML staat. Rendering is ook nodig voor browseracties, resources blokkeren en netwerkcapture.
Wacht op de juiste inhoud
| Optie | Wat het doet |
|---|---|
wait_for | Wacht tot een CSS-selector verschijnt voor de capture. |
wait_for_timeout | Stel de wachtlimiet in van 0 tot 120.000 ms. Vereist wait_for; 0 gebruikt de standaard. |
wait | Voeg na het laden een vaste vertraging toe van 0 tot 30.000 ms. Geef de voorkeur aan een selector als dat kan. |
block_resources | Kies welke assets je overslaat. Afbeeldingen en lettertypen worden standaard geblokkeerd, met uitzonderingen voor acties en captures. |
response_format | Kies Markdown, JSON of HTML voor de pagina-inhoud. |
Een expliciete resourcelijst vervangt de standaard. Gebruik ["none"] om niets te blokkeren. Blokkeer geen scripts wanneer de pagina ze nodig heeft om zijn inhoud op te bouwen.
Controleer het resultaat
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3X-Engine vertelt welk renderniveau draaide (fetch, js of browser). X-Target-Status is de status van de site, terwijl X-Credits-Charged de kosten toont.
Als wait_for nooit overeenkomt, kan de pagina terugkomen zoals hij was, met X-Warning: RENDER_DEGRADED. Controleer de inhoud en de waarschuwing voordat je hem gebruikt.
Rendering-tiers en kosten
- Gratis tijdens de beta. Credits tonen de kosten van elk verzoek.
- JavaScript-rendering:
js_render: truekost 3 credits per geslaagd verzoek. - Volledige browserrendering: kost 8 credits. Screenshots, PDF's en acties gebruiken het, en Spicrawl stuurt het verzoek er voor je naartoe. Als een deployment het gebruikelijke niveau niet kan leveren, kan het het volgende niveau gebruiken en
X-Warning: ENGINE_SUBSTITUTEDteruggeven; gebruikmax_costom een hogere prijs te weigeren. - Je kiest de tier niet. Spicrawl kiest het op basis van wat het verzoek nodig heeft en rekent het niveau dat het leverde.
- Mislukkingen kosten 0. Wachten en resourceblokkering kosten niets extra. Stel
max_costin om een verzoek te begrenzen.
Goed om te weten
- Kies rendering of auto mode.
mode: "auto"kan niet worden gecombineerd metjs_render. Het begint met fetch en schaalt op naar JavaScript-rendering en daarna full-browser-rendering, alleen als de vorige stap op een challenge stuit. - Browservlaggen hebben een browser nodig. Het sturen van
wait_for, acties of resourceblokkering zonderjs_rendergeeft een fout. - Geen crawling. Stuur de URL's die je wilt; Spicrawl zoekt geen pagina's en volgt geen links.
- Binnenkort: beheerde proxy's, stealth-modus, een remote browser en extractie op basis van een prompt in gewone taal.
- Jouw verantwoordelijkheid: haal alleen pagina's op die je mag gebruiken. Lees onze voorwaarden.
Veelgestelde vragen
Hoe scrape ik een JavaScript-website?
Stuur de pagina-URL naar POST https://api.spicrawl.com/v1/scrape met js_render op true. De browser voert de scripts uit voordat Spicrawl de pagina leest. Kies response_format voor Markdown, JSON of HTML.
Hoe wacht ik tot de inhoud is geladen?
Stel wait_for in op een CSS-selector, zoals .price. Gebruik wait_for_timeout om een timeout tot 120000 milliseconden in te stellen. Als de selector nooit overeenkomt, kan de pagina terugkomen zoals hij was met X-Warning: RENDER_DEGRADED. Controleer de waarschuwing voordat je het resultaat gebruikt.
Wat kost JavaScript-rendering?
Spicrawl is gratis tijdens de beta. Geslaagde JavaScript-renders gebruiken 3 credits; full-browser-rendering gebruikt 8. Als een deployment geen JavaScript-rendering kan leveren, kan js_render worden geleverd door full-browser-rendering en tegen die prijs worden gerekend. Mislukte verzoeken gebruiken 0 credits. Lees X-Engine (fetch, js of browser) en X-Credits-Charged om te zien wat er draaide.
Kan ik auto mode gebruiken met JavaScript-rendering?
Nee. mode: auto kan niet worden gecombineerd met js_render. Auto mode begint met een gewoon verzoek en schaalt op naar JavaScript-rendering en daarna volledige browserrendering als het resultaat onbruikbaar is. Gebruik voor pagina's waarvan je weet dat ze JavaScript nodig hebben js_render: true.
Kan het een JavaScript-website crawlen?
Nee. Spicrawl vindt geen URL's en volgt geen links. Stuur de pagina-URL's die je wilt lezen. Haal alleen pagina's op die je mag gebruiken.