BrowseractiesEerst klikken, typen en scrollen
Klik, typ en scroll voordat je scrapet
Open menu's, vul formulieren in en laad meer. Lees dan de pagina.
- 1KlikkenOpen een menu of druk op “Load more”
- 2TypenVul een formulier of zoekvak in
- 3ScrollenLaad de rest van de feed
- 4LezenHaal de pagina op als Markdown
Stuur een verzoek
actions.sh
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com", "js_render": true, "response_format": "markdown", "actions": [ { "click": "#accept" }, { "fill": { "selector": "#search", "value": "shoes" } }, { "scroll": { "y": 800 } } ] }'Hoe het werkt
- Zet rendering aan met
js_render: true. Acties hebben een browser nodig. - Som je stappen op in
actions. Ze draaien op volgorde nadat de pagina is geladen. - Haal de pagina op zoals die eruitziet na de laatste stap, in het formaat dat je koos.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products?category=lamps",
"js_render": true,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"}
]
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products?category=lamps",
"js_render": True,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"},
],
},
timeout=180,
)
print(r.text)spicrawl scrape "https://example.com/products?category=lamps" --render --format markdown \
--actions '[{"click":"button.load-more"},{"wait_for":".product-card:nth-child(40)"}]'Stappen die je kunt gebruiken
| Stap | Wat het doet |
|---|---|
wait_for | Wacht op een element, of een ingestelde tijd |
click | Klikt op een knop of link |
fill | Typt in een invoerveld. Voeg secret: true toe om de waarde uit logs te verbergen |
select | Kiest een optie in een lijst |
scroll | Scrolt de pagina, voor feeds die onderweg meer laden |
evaluate | Voert je eigen JavaScript uit op de pagina |
screenshot | Slaat een afbeelding van de pagina op bij die stap |
Goed om te weten
- Tot 50 stappen per verzoek. De hele lijst wordt gecontroleerd voordat er iets wordt uitgegeven.
- Alleen browser. Zonder
js_renderwordt het verzoek met een 400 geweigerd. - Niet bij batch. Acties draaien alleen bij losse scrapes.
- Logins: log alleen in op accounts die van jou zijn of die je mag gebruiken. Gebruik een sessie om ingelogd te blijven.
- Prijzen: gratis tijdens de beta. Acties draaien in full-browser-rendering, dat 8 credits kost.
Veelgestelde vragen
Wat kunnen browseracties?
Wacht op een element, wacht op navigatie, klik, vul een invoerveld in, kies een optie, scroll, voer JavaScript uit en maak een screenshot. De stappen draaien op volgorde nadat de pagina is geladen.
Hoeveel stappen kan één verzoek hebben?
Tot 50. De hele lijst wordt gecontroleerd voordat het verzoek draait, dus een fout faalt vroeg en kost niets.
Hebben browseracties JavaScript-rendering nodig?
Ja. Acties draaien in een browser, dus stel js_render in op true. Zonder dat wordt het verzoek met een 400 geweigerd.
Kan ik veilig een wachtwoord invullen?
Ja. Markeer de fill-stap met secret op true, en de waarde wordt uit logs verborgen. Log alleen in op accounts die van jou zijn of die je mag gebruiken.
Kan ik na de stappen een screenshot krijgen?
Ja. Voeg een screenshot-stap toe. De respons wordt dan de JSON-envelop, met de afbeeldingen onder screenshots.