Spicrawl werkt nu met OpenAI Agents SDK, LangChain, Codex, Claude Code en meer.Bekijk integraties
Naar inhoud springen

Veelgestelde vragen

Snelle antwoorden over Spicrawl, van prijzen tot proxy's.

Alle vragen

Algemeen

Wat is Spicrawl?

Spicrawl is een web scraping-API die elke URL omzet in schone Markdown, HTML, een PDF of gestructureerde JSON voor je code of AI-agent, via een API, CLI of MCP-server.

Is Spicrawl gratis?

Ja. Het is gratis tijdens de beta, met 1.000 credits per maand en zonder creditcard.

Wat betekent Spicrawl?

De naam combineert "spider" en "crawl", daarom is ons logo een spin. Het wordt gespeld als S-P-I-C-R-A-W-L. Spicrawl is een web scraping-API: je stuurt de URL's die je wilt en het geeft schone data terug.

Waarom niet de ingebouwde webfetch van mijn AI-assistent gebruiken?

Ingebouwde fetch-tools zijn prima voor een snelle blik, maar ze geven vaak ruwe of afgekapte tekst terug en voeren mogelijk geen JavaScript uit. Spicrawl geeft schone Markdown of JSON terug, rendert JavaScript wanneer een pagina dat nodig heeft, houdt loginsessies vast, voert klikken en formulierinvoer uit en verwerkt tot 10.000 URL's in één job. Je agent krijgt de inhoud van de pagina, niet de menu's en scripts.

Is web scraping legaal?

Dat hangt af van wat je verzamelt, waar je bent en hoe je het gebruikt. Openbaar beschikbare pagina's scrapen is gebruikelijk, maar je bent zelf verantwoordelijk voor het naleven van de voorwaarden van elke site, het auteursrecht en privacywetgeving zoals de AVG, vooral bij persoonsgegevens. Als je het niet zeker weet, vraag dan een jurist om advies over jouw situatie.

Scraping en data

Kan ik JavaScript-websites scrapen?

Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.

Kan Spicrawl langs botbescherming zoals Cloudflare komen?

Vaak wel, maar niet altijd. Gebruik een echte browser-fingerprint, browserrendering of je eigen proxy. Een botchallenge geeft een duidelijke fout en kost niets. Stealth-modus en beheerde proxy's zitten niet in de beta.

Hoe maak ik van een website Markdown voor een LLM?

Stuur de URL met response_format ingesteld op markdown. Spicrawl geeft de hoofdinhoud van de pagina terug als Markdown, zonder menu's, footers en zijbalken, wat meestal een fractie van de tokens van ruwe HTML kost. Het parset ook PDF's, en Markdown-conversie kost niets extra.

Kan ik gestructureerde data als JSON extraheren?

Ja, op drie manieren: autoparse leest de eigen metadata van de pagina, een selectormap haalt exacte velden op en een JSON Schema met selectors geeft getypeerde, gevalideerde uitvoer. Alle drie zijn gratis bovenop de engineprijs. Extractie vanuit een beschrijving in gewone taal, met een model, komt binnenkort.

Kan ik veel URL's tegelijk scrapen?

Ja. Een batchjob accepteert tot 10.000 URL's per aanroep en draait ze parallel. Je controleert de voortgang en downloadt de resultaten dan als JSON Lines. Resultaten blijven 72 uur bewaard.

Kan ik een loginsessie behouden?

Ja. Maak een sessie en geef het ID mee bij elk verzoek om dezelfde cookies, browseropslag en uitgaand IP te hergebruiken, zodat een login behouden blijft tussen pagina's. Een organisatie kan tot 100 live sessies tegelijk hebben.

Kan ik klikken en formulieren automatiseren?

Ja. Browseracties kunnen klikken, typen, selecteren, scrollen, wachten en JavaScript uitvoeren op een gerenderde pagina voordat die wordt vastgelegd, met tot 50 stappen per verzoek.

Kan ik proxy's gebruiken?

Ja. Neem je eigen proxy mee zonder proxytoeslag. Beheerde proxy's en ingebouwde landtargeting komen binnenkort en zijn tijdens de beta niet beschikbaar.

AI-agents en ontwikkelaars

Kan ik Spicrawl met AI-agents gebruiken?

Ja. Met de gehoste MCP-server kunnen Claude Code, Cursor en Codex pagina's scrapen, batches draaien, sessies hergebruiken en browseracties uitvoeren. Voer spicrawl init uit om het in te stellen.

Welke programmeertalen kan ik gebruiken?

Elke taal die een HTTP-verzoek kan sturen. De docs bevatten voorbeelden in cURL, Python en TypeScript, en er is een JavaScript- en TypeScript-SDK op npm (@spicrawl/sdk) voor Node.js 18 en later. De spicrawl CLI werkt vanuit elke shell of elk script.

Is er een CLI of een dashboard?

Beide. Een CLI dekt scraping, batches, sessies, logs en gebruik, en het dashboard heeft een playground, activiteitenlogs, gebruik en sleutelbeheer.

Credits en limieten

Kosten mislukte verzoeken credits?

Nee. Alleen geslaagde verzoeken kosten credits: 1 voor gewoon, 3 voor JavaScript-rendering en 8 voor een volledige browser. Fouten, botchallenges en timeouts zijn gratis.

Zijn er rate limits?

Ja. Elke API-sleutel heeft een aanvraagfrequentie, elke organisatie heeft een limiet op gelijktijdig lopende verzoeken en er is een maandelijks creditstegoed. Elke respons meldt je huidige limieten in de headers en een door een limiet geweigerd verzoek kost niets.

Nog steeds vast? Lees de docs of mail support@spicrawl.com.