Questions fréquentes
Réponses rapides sur Spicrawl, des tarifs aux proxys.
Toutes les questions
Général
Qu’est-ce que Spicrawl ?
Spicrawl est une API de web scraping qui transforme n’importe quelle URL en Markdown, HTML, PDF ou JSON structuré propre pour votre code ou votre agent IA, via une API, une CLI ou un serveur MCP.
Spicrawl est-il gratuit ?
Oui. C’est gratuit pendant la bêta, avec 1 000 crédits par mois et sans carte bancaire.
Que signifie Spicrawl ?
Le nom associe « spider » et « crawl », ce qui explique pourquoi notre logo est une araignée. Il s’écrit S-P-I-C-R-A-W-L. Spicrawl est une API de web scraping : vous envoyez les URL voulues et elle renvoie des données propres.
Pourquoi ne pas utiliser le web fetch intégré de mon assistant IA ?
Les outils de fetch intégrés suffisent pour un coup d’œil rapide, mais ils renvoient souvent du texte brut ou tronqué et peuvent ne pas exécuter JavaScript. Spicrawl renvoie du Markdown ou du JSON propre, rend JavaScript quand une page en a besoin, garde les sessions de connexion, exécute des clics et des saisies de formulaires, et traite jusqu’à 10 000 URL dans un même job. Votre agent obtient le contenu de la page, pas ses menus ni ses scripts.
Le web scraping est-il légal ?
Cela dépend de ce que vous collectez, d’où vous êtes et de la manière dont vous l’utilisez. Scraper des pages publiquement accessibles est courant, mais c’est à vous de respecter les conditions de chaque site, le droit d’auteur et les lois sur la protection des données comme le RGPD, surtout pour les données personnelles. En cas de doute, demandez à un avocat à propos de votre cas précis.
Scraping et données
Puis-je scraper des sites JavaScript ?
Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.
Spicrawl peut-il franchir une protection anti-bot comme Cloudflare ?
Souvent, mais pas toujours. Utilisez une vraie empreinte de navigateur, le rendu navigateur ou votre propre proxy. Un défi anti-bot renvoie une erreur claire et ne coûte rien. Le mode furtif et les proxys gérés ne sont pas dans la bêta.
Comment transformer un site web en Markdown pour un LLM ?
Envoyez l’URL avec response_format défini sur markdown. Spicrawl renvoie le contenu principal de la page en Markdown, sans menus, pieds de page ni encadrés, ce qui représente généralement une fraction des jetons du HTML brut. Il analyse aussi les PDF, et la conversion Markdown ne coûte rien de plus.
Puis-je extraire des données structurées en JSON ?
Oui, de trois façons : autoparse lit les métadonnées propres à la page, une carte de sélecteurs extrait des champs précis, et un JSON Schema avec sélecteurs renvoie une sortie typée et validée. Les trois sont gratuits en plus du prix du moteur. L’extraction à partir d’une description en langage naturel, avec un modèle, arrive bientôt.
Puis-je scraper de nombreuses URL à la fois ?
Oui. Un job batch accepte jusqu’à 10 000 URL par appel et les exécute en parallèle. Vous suivez sa progression, puis téléchargez les résultats en JSON Lines. Les résultats sont conservés 72 heures.
Puis-je conserver une session de connexion ?
Oui. Créez une session et passez son id à chaque requête pour réutiliser les mêmes cookies, le même stockage du navigateur et la même IP de sortie, afin qu’une connexion se maintienne d’une page à l’autre. Une organisation peut avoir jusqu’à 100 sessions actives à la fois.
Puis-je automatiser les clics et les formulaires ?
Oui. Les actions de navigateur peuvent cliquer, saisir, sélectionner, faire défiler, attendre et exécuter du JavaScript sur une page rendue avant sa capture, jusqu’à 50 étapes par requête.
Puis-je utiliser des proxys ?
Oui. Apportez votre propre proxy sans supplément de proxy. Les proxys gérés et le ciblage par pays intégré arrivent bientôt et ne sont pas disponibles pendant la bêta.
Agents IA et développeurs
Puis-je utiliser Spicrawl avec des agents IA ?
Oui. Le serveur MCP hébergé permet à Claude Code, Cursor et Codex de scraper des pages, d’exécuter des batchs, de réutiliser des sessions et d’exécuter des actions de navigateur. Exécutez spicrawl init pour le configurer.
Quels langages de programmation puis-je utiliser ?
Tout langage capable d’envoyer une requête HTTP. La documentation inclut des exemples en cURL, Python et TypeScript, et il existe un SDK JavaScript et TypeScript sur npm (@spicrawl/sdk) pour Node.js 18 et versions ultérieures. La CLI spicrawl fonctionne depuis n’importe quel shell ou script.
Y a-t-il une CLI ou un tableau de bord ?
Les deux. Une CLI couvre le scraping, les batchs, les sessions, les journaux et l’usage, et le tableau de bord propose un playground, des journaux d’activité, l’usage et la gestion des clés.
Crédits et limites
Les requêtes échouées coûtent-elles des crédits ?
Non. Seules les requêtes réussies coûtent des crédits : 1 pour simple, 3 pour le rendu JavaScript et 8 pour le navigateur complet. Les erreurs, les défis anti-bot et les délais dépassés sont gratuits.
Y a-t-il des limites de débit ?
Oui. Chaque clé API a un débit de requêtes, chaque organisation a une limite de requêtes simultanées, et il y a un quota mensuel de crédits. Chaque réponse indique vos limites actuelles dans ses en-têtes, et une requête refusée par une limite ne coûte rien.
Toujours bloqué ? Lire la documentation ou écrivez à support@spicrawl.com.