Spicrawl werkt nu met OpenAI Agents SDK, LangChain, Codex, Claude Code en meer.Bekijk integraties
Naar inhoud springen
BrowseractiesEerst klikken, typen en scrollen

Klik, typ en scroll voordat je scrapet

Open menu's, vul formulieren in en laad meer. Lees dan de pagina.

  1. 1KlikkenOpen een menu of druk op “Load more”
  2. 2TypenVul een formulier of zoekvak in
  3. 3ScrollenLaad de rest van de feed
  4. 4LezenHaal de pagina op als Markdown
Stuur een verzoek
actions.sh
curl -X POST https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com",    "js_render": true,    "response_format": "markdown",    "actions": [      { "click": "#accept" },      { "fill": { "selector": "#search", "value": "shoes" } },      { "scroll": { "y": 800 } }    ]  }'

Hoe het werkt

  1. Zet rendering aan met js_render: true. Acties hebben een browser nodig.
  2. Som je stappen op in actions. Ze draaien op volgorde nadat de pagina is geladen.
  3. Haal de pagina op zoals die eruitziet na de laatste stap, in het formaat dat je koos.
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products?category=lamps",
    "js_render": true,
    "response_format": "markdown",
    "actions": [
      {"click": "button.load-more"},
      {"wait_for": ".product-card:nth-child(40)"}
    ]
  }'

Stappen die je kunt gebruiken

StapWat het doet
wait_forWacht op een element, of een ingestelde tijd
clickKlikt op een knop of link
fillTypt in een invoerveld. Voeg secret: true toe om de waarde uit logs te verbergen
selectKiest een optie in een lijst
scrollScrolt de pagina, voor feeds die onderweg meer laden
evaluateVoert je eigen JavaScript uit op de pagina
screenshotSlaat een afbeelding van de pagina op bij die stap

Goed om te weten

  • Tot 50 stappen per verzoek. De hele lijst wordt gecontroleerd voordat er iets wordt uitgegeven.
  • Alleen browser. Zonder js_render wordt het verzoek met een 400 geweigerd.
  • Niet bij batch. Acties draaien alleen bij losse scrapes.
  • Logins: log alleen in op accounts die van jou zijn of die je mag gebruiken. Gebruik een sessie om ingelogd te blijven.
  • Prijzen: gratis tijdens de beta. Acties draaien in full-browser-rendering, dat 8 credits kost.

Veelgestelde vragen

Wat kunnen browseracties?

Wacht op een element, wacht op navigatie, klik, vul een invoerveld in, kies een optie, scroll, voer JavaScript uit en maak een screenshot. De stappen draaien op volgorde nadat de pagina is geladen.

Hoeveel stappen kan één verzoek hebben?

Tot 50. De hele lijst wordt gecontroleerd voordat het verzoek draait, dus een fout faalt vroeg en kost niets.

Hebben browseracties JavaScript-rendering nodig?

Ja. Acties draaien in een browser, dus stel js_render in op true. Zonder dat wordt het verzoek met een 400 geweigerd.

Kan ik veilig een wachtwoord invullen?

Ja. Markeer de fill-stap met secret op true, en de waarde wordt uit logs verborgen. Log alleen in op accounts die van jou zijn of die je mag gebruiken.

Kan ik na de stappen een screenshot krijgen?

Ja. Voeg een screenshot-stap toe. De respons wordt dan de JSON-envelop, met de afbeeldingen onder screenshots.