Spicrawl fonctionne désormais avec OpenAI Agents SDK, LangChain, Codex, Claude Code et plus encore.Voir les intégrations
Aller au contenu

Web scraping dans Windsurf

Windsurf s’appelle désormais Devin Desktop. Ajoutez le serveur MCP Spicrawl et son agent peut lire des pages web en Markdown propre.

Configurez-le

Devin Desktop a deux agents. Devin Local est celui par défaut pour les nouveaux onglets. Cascade est l’agent historique. Ils lisent les serveurs MCP dans des fichiers différents ; configurez donc celui que vous utilisez.

  1. Définissez votre clé API dans l’environnement à partir duquel Devin Desktop démarre :

    bash
    export SPICRAWL_API_KEY=spicrawl_live_...   # add to your shell profile, then restart Devin Desktop
  2. Devin Local : ajoutez le serveur en portée locale. Il est enregistré dans .devin/mcp_config.local.json, que Devin exclut via gitignore. Vérifiez-le avec devin mcp list.

    bash
    devin mcp add spicrawl https://mcp.spicrawl.com/mcp -H "Authorization: Bearer $SPICRAWL_API_KEY"

    N’utilisez pas -s project. Il écrit dans le fichier partagé et commité, avec votre clé dedans.

  3. Cascade : ouvrez le panneau Cascade, cliquez sur le menu ... et ouvrez le fichier de configuration MCP. Ajoutez le serveur. Cascade renseigne la clé, donc le fichier ne contient aucune clé :

    ~/.config/devin/mcp_config.json
    {
      "mcpServers": {
        "spicrawl": {
          "serverUrl": "https://mcp.spicrawl.com/mcp",
          "headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
        }
      }
    }

    Cascade autorise 100 outils sur l’ensemble des serveurs. Spicrawl en utilise 25.

  4. Installez la skill :

    bash
    spicrawl skill install --client codex
    
    # Without the CLI:
    mkdir -p .agents/skills/spicrawl
    curl -fsSL https://app.spicrawl.com/skill.md -o .agents/skills/spicrawl/SKILL.md
  5. Enregistrez cette règle sous .devin/rules/spicrawl.md (.windsurf/rules/ fonctionne toujours). L’agent la lit lorsqu’une tâche implique des données web.

    .devin/rules/spicrawl.md
    ---
    trigger: model_decision
    description: Fetching, scraping or extracting data from web pages with Spicrawl
    ---
    
    # Web data (Spicrawl)
    
    Use Spicrawl to read web pages: the spicrawl_* MCP tools in chat, or
    POST https://api.spicrawl.com/v1/scrape with `Authorization: Bearer $SPICRAWL_API_KEY` in code.
    Docs: https://docs.spicrawl.com/llms.txt (append .md to any page URL for Markdown).
    
    - Ask for markdown: `response_format: "markdown"` (API default is html); on spicrawl_scrape, `format: "markdown"`.
    - Check the site's status, not only the HTTP status: `X-Target-Status` header, or `status`
      in the JSON envelope (spicrawl_scrape with `format: "json"`). 200 is the page; 404/410
      mean it does not exist; 403/429/503 mean the site refused, so escalate.
    - On an error, switch on `code`. Retry only when `retryable` is true, after
      `retry_after_seconds`. Read `diagnostics.hint` and change what it names first.
      Never retry ERR::REQUEST::*, ERR::AUTH::* or ERR::LIMIT::QUOTA_EXCEEDED.
    - Escalate one step at a time and stop at the first that works:
      plain fetch (1 credit) -> `js_render: true` (3) -> add the user's own `proxy`
      if they have one. Empty or skeleton content means render; ERR::UPSTREAM::CHALLENGE
      or a 403 target status means retry once, then the user's own proxy.
    - Set `max_cost` on every request to the price of the step you intend.
    - Keep the cache on (default). Set `cache: false` only for prices, stock or other live data.
    - Trim tokens with `main_content_only` (on by default for markdown), `include_tags`, `exclude_tags`.
    - For more than 20 URLs, use a batch job (spicrawl_batch_submit / POST /v1/batch).
      Batch items return html, markdown or text (spicrawl_batch_submit defaults to markdown,
      POST /v1/batch to html). Extraction, screenshots, actions and sessions are refused
      with a 400 before anything is charged: scrape those URLs one by one.
    - Never print or commit SPICRAWL_API_KEY. Log `X-Request-Id` for failures.

Une première tâche à essayer

Ouvrez un nouvel onglet d’agent et demandez :

prompt
Use Spicrawl to read https://example.com/pricing as markdown. List each plan with its monthly price.
If the page comes back empty, retry with rendering.

L’agent doit appeler spicrawl_scrape avec format: "markdown". Il ne doit ajouter render: true que si le premier résultat est vide.

Ce qu’il peut faire

Le serveur donne à l’agent 25 outils spicrawl_*. Chaque appel s’exécute sous votre clé API, avec les mêmes limites et les mêmes crédits qu’un appel direct à l’API.

  • Lire une page : spicrawl_scrape renvoie du Markdown (par défaut), du texte, du HTML, du JSON ou un PDF.
  • Lire plusieurs pages : spicrawl_batch_submit met en file jusqu’à 10 000 URL. Suivez-le avec spicrawl_batch_status et spicrawl_batch_results.
  • Pages derrière une connexion : spicrawl_session_create conserve les cookies et le stockage d’un appel à l’autre.
  • Déboguer un échec : spicrawl_requests_list et spicrawl_request_get.
  • Vérifier l’usage : spicrawl_usage_summary et les autres outils d’utilisation. Ils nécessitent une clé avec le scope read.
  • Rechercher des informations : spicrawl_docs_search et spicrawl_docs_read cherchent et lisent la documentation de Spicrawl.

Un outil, spicrawl_browser_connect_url, est listé mais arrive bientôt. Sur spicrawl_scrape, l’argument de rendu est render, et non le js_render de l’API.

Bon à savoir

  • Pas de crawl. Spicrawl ne suit pas les liens et ne trouve pas de pages. Donnez les URL à l’agent.
  • Crédits par requête. Une récupération simple coûte 1 crédit. Le rendu JavaScript coûte 3. Le rendu navigateur complet coûte 8.
  • Les échecs sont gratuits. Une requête échouée coûte 0 crédit.
  • Le cache fait gagner du temps, pas des crédits. Un résultat en cache coûte autant que la récupération qui l’a stocké.
  • Plafonnez chaque appel. Définissez max_cost, et une requête qui pourrait coûter plus cher est refusée avant d’être exécutée.
  • Bientôt disponible : proxys gérés, mode furtif, navigateur distant et extraction par IA à partir d’un prompt en langage naturel. Aujourd’hui, vous pouvez apporter votre propre proxy.

Questions fréquentes

Windsurf est-il la même chose que Devin Desktop ?

Oui. Windsurf a été renommé Devin Desktop le 2026-06-02. C’est le même éditeur, et ces étapes fonctionnent pour les deux noms.

Quel agent dois-je configurer, Devin Local ou Cascade ?

Devin Local est l’agent par défaut pour les nouveaux onglets. Cascade est l’ancien agent. Ils lisent les serveurs MCP depuis des fichiers différents, donc configurez celui que vous utilisez.

Spicrawl compte-t-il dans la limite d’outils de Cascade ?

Oui. Cascade autorise 100 outils sur l’ensemble des serveurs, et Spicrawl en utilise 25. Désactivez d’autres serveurs si vous approchez de la limite.

Mon équipe bloque le serveur. Que faire ?

Une liste d’autorisation d’équipe est active. Demandez à l’admin d’autoriser l’ID de serveur spicrawl (sensible à la casse).

Combien coûte chaque page ?

Une récupération simple coûte 1 crédit, le rendu JavaScript 3 et le rendu navigateur complet 8. Les requêtes échouées coûtent 0. Un résultat en cache coûte autant que la récupération qui l’a stocké. Demandez à l’agent de définir max_cost sur chaque requête pour qu’il ne dépense jamais plus que prévu.