Spicrawl ahora funciona con OpenAI Agents SDK, LangChain, Codex, Claude Code y más.Ver integraciones
Saltar al contenido

Web scraping en Windsurf

Windsurf ahora se llama Devin Desktop. Añade el servidor MCP de Spicrawl y su agente podrá leer páginas web como Markdown limpio.

Configúralo

Devin Desktop tiene dos agentes. Devin Local es el predeterminado para las pestañas nuevas. Cascade es el agente heredado. Leen los servidores MCP de archivos distintos, así que configura el que uses.

  1. Configura tu clave de API en el entorno desde el que arranca Devin Desktop:

    bash
    export SPICRAWL_API_KEY=spicrawl_live_...   # add to your shell profile, then restart Devin Desktop
  2. Devin Local: añade el servidor en el ámbito local. Se guarda en .devin/mcp_config.local.json, que Devin ignora con gitignore. Compruébalo con devin mcp list.

    bash
    devin mcp add spicrawl https://mcp.spicrawl.com/mcp -H "Authorization: Bearer $SPICRAWL_API_KEY"

    No uses -s project. Escribe en el archivo compartido y confirmado en el repositorio con tu clave dentro.

  3. Cascade: abre el panel de Cascade, haz clic en el menú ... y abre el archivo de configuración de MCP. Añade el servidor. Cascade rellena la clave, así que el archivo no contiene ninguna clave:

    ~/.config/devin/mcp_config.json
    {
      "mcpServers": {
        "spicrawl": {
          "serverUrl": "https://mcp.spicrawl.com/mcp",
          "headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
        }
      }
    }

    Cascade permite 100 herramientas entre todos los servidores. Spicrawl usa 25 de ellas.

  4. Instala la skill:

    bash
    spicrawl skill install --client codex
    
    # Without the CLI:
    mkdir -p .agents/skills/spicrawl
    curl -fsSL https://app.spicrawl.com/skill.md -o .agents/skills/spicrawl/SKILL.md
  5. Guarda esta regla como .devin/rules/spicrawl.md (.windsurf/rules/ sigue funcionando). El agente la lee cuando una tarea implica datos web.

    .devin/rules/spicrawl.md
    ---
    trigger: model_decision
    description: Fetching, scraping or extracting data from web pages with Spicrawl
    ---
    
    # Web data (Spicrawl)
    
    Use Spicrawl to read web pages: the spicrawl_* MCP tools in chat, or
    POST https://api.spicrawl.com/v1/scrape with `Authorization: Bearer $SPICRAWL_API_KEY` in code.
    Docs: https://docs.spicrawl.com/llms.txt (append .md to any page URL for Markdown).
    
    - Ask for markdown: `response_format: "markdown"` (API default is html); on spicrawl_scrape, `format: "markdown"`.
    - Check the site's status, not only the HTTP status: `X-Target-Status` header, or `status`
      in the JSON envelope (spicrawl_scrape with `format: "json"`). 200 is the page; 404/410
      mean it does not exist; 403/429/503 mean the site refused, so escalate.
    - On an error, switch on `code`. Retry only when `retryable` is true, after
      `retry_after_seconds`. Read `diagnostics.hint` and change what it names first.
      Never retry ERR::REQUEST::*, ERR::AUTH::* or ERR::LIMIT::QUOTA_EXCEEDED.
    - Escalate one step at a time and stop at the first that works:
      plain fetch (1 credit) -> `js_render: true` (3) -> add the user's own `proxy`
      if they have one. Empty or skeleton content means render; ERR::UPSTREAM::CHALLENGE
      or a 403 target status means retry once, then the user's own proxy.
    - Set `max_cost` on every request to the price of the step you intend.
    - Keep the cache on (default). Set `cache: false` only for prices, stock or other live data.
    - Trim tokens with `main_content_only` (on by default for markdown), `include_tags`, `exclude_tags`.
    - For more than 20 URLs, use a batch job (spicrawl_batch_submit / POST /v1/batch).
      Batch items return html, markdown or text (spicrawl_batch_submit defaults to markdown,
      POST /v1/batch to html). Extraction, screenshots, actions and sessions are refused
      with a 400 before anything is charged: scrape those URLs one by one.
    - Never print or commit SPICRAWL_API_KEY. Log `X-Request-Id` for failures.

Una primera tarea para probar

Abre una pestaña de agente nueva y pregunta:

prompt
Use Spicrawl to read https://example.com/pricing as markdown. List each plan with its monthly price.
If the page comes back empty, retry with rendering.

El agente debe llamar a spicrawl_scrape con format: "markdown". Debe añadir render: true solo si el primer resultado está vacío.

Qué puede hacer

El servidor ofrece al agente 25 herramientas de spicrawl_*. Cada llamada se ejecuta con tu clave de API, con los mismos límites y créditos que una llamada directa a la API.

  • Lee una página: spicrawl_scrape devuelve Markdown (predeterminado), texto, HTML, JSON o PDF.
  • Lee muchas páginas: spicrawl_batch_submit pone en cola hasta 10.000 URL. Continúa con spicrawl_batch_status y spicrawl_batch_results.
  • Páginas con login: spicrawl_session_create conserva las cookies y el almacenamiento entre llamadas.
  • Depura un fallo: spicrawl_requests_list y spicrawl_request_get.
  • Revisa el uso: spicrawl_usage_summary y las demás herramientas de uso. Requieren una clave con el alcance read.
  • Busca cosas: spicrawl_docs_search y spicrawl_docs_read buscan y leen la documentación de Spicrawl.

Una herramienta, spicrawl_browser_connect_url, aparece en la lista pero llegará pronto. En spicrawl_scrape, el argumento de renderizado es render, no el js_render de la API.

Conviene saber

  • No rastrea. Spicrawl no sigue enlaces ni encuentra páginas. Dale las URL al agente.
  • Créditos por solicitud. Una obtención simple cuesta 1 crédito. El renderizado de JavaScript, 3. El renderizado con navegador completo, 8.
  • Los fallos son gratis. Una solicitud fallida cuesta 0 créditos.
  • La caché ahorra tiempo, no créditos. Un acierto de caché cuesta lo mismo que la obtención que lo guardó.
  • Limita cada llamada. Configura max_cost y una solicitud que podría costar más se rechaza antes de ejecutarse.
  • Próximamente: proxies gestionados, modo sigiloso, un navegador remoto y extracción con IA a partir de un prompt en lenguaje natural. Hoy puedes usar tu propio proxy.

Preguntas frecuentes

¿Windsurf es lo mismo que Devin Desktop?

Sí. Windsurf pasó a llamarse Devin Desktop el 2026-06-02. Es el mismo editor y estos pasos sirven para ambos nombres.

¿Qué agente debo configurar, Devin Local o Cascade?

Devin Local es el agente predeterminado en las pestañas nuevas. Cascade es el agente heredado. Leen los servidores MCP de archivos distintos, así que configura el que uses.

¿Spicrawl cuenta para el límite de herramientas de Cascade?

Sí. Cascade permite 100 herramientas entre todos los servidores, y Spicrawl usa 25. Desactiva otros servidores si estás cerca del límite.

Mi equipo bloquea el servidor. ¿Qué hago?

Hay una lista de permitidos del equipo activa. Pide al administrador que añada el Server ID spicrawl (distingue mayúsculas y minúsculas).

¿Cuánto cuesta cada página?

Una solicitud simple cuesta 1 crédito, el renderizado con JavaScript 3 y el renderizado con navegador completo 8. Las solicitudes fallidas cuestan 0. Un acierto de caché cuesta lo mismo que la solicitud que lo guardó. Pide al agente que configure max_cost en cada solicitud para que nunca gaste más de lo que esperas.