Web scraping en Cursor
Añade el servidor MCP de Spicrawl a Cursor. Así su agente puede leer páginas web como Markdown limpio.
Configúralo
Tres pasos dan al agente de Cursor las herramientas, el conocimiento para escribir código de Spicrawl y las reglas para usar ambos. O haz los tres con spicrawl init --client cursor.
Configura tu clave de API en el entorno desde el que arranca Cursor:
bashexport SPICRAWL_API_KEY=spicrawl_live_... # add to your shell profile, then restart CursorEn macOS, las apps iniciadas desde el Dock no ven el perfil de tu shell. Inicia Cursor desde una terminal con
cursor ..Añade el servidor a
.cursor/mcp.json(o a~/.cursor/mcp.jsonpara todos los proyectos). Cursor rellena la clave, así que el archivo se puede confirmar en el repositorio sin riesgo:.cursor/mcp.json{ "mcpServers": { "spicrawl": { "url": "https://mcp.spicrawl.com/mcp", "headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" } } } }Instala la skill:
bashspicrawl skill install --client cursor # Without the CLI: mkdir -p .cursor/skills/spicrawl curl -fsSL https://app.spicrawl.com/skill.md -o .cursor/skills/spicrawl/SKILL.mdGuarda esta regla como
.cursor/rules/spicrawl.mdc. El agente la lee cuando una tarea implica datos web. ConfiguraalwaysApply: truepara incluirla en cada chat..cursor/rules/spicrawl.mdc--- description: Fetching, scraping or extracting data from web pages with Spicrawl alwaysApply: false --- # Web data (Spicrawl) Use Spicrawl to read web pages: the spicrawl_* MCP tools in chat, or POST https://api.spicrawl.com/v1/scrape with `Authorization: Bearer $SPICRAWL_API_KEY` in code. Docs: https://docs.spicrawl.com/llms.txt (append .md to any page URL for Markdown). - Ask for markdown: `response_format: "markdown"` (API default is html); on spicrawl_scrape, `format: "markdown"`. - Check the site's status, not only the HTTP status: `X-Target-Status` header, or `status` in the JSON envelope (spicrawl_scrape with `format: "json"`). 200 is the page; 404/410 mean it does not exist; 403/429/503 mean the site refused, so escalate. - On an error, switch on `code`. Retry only when `retryable` is true, after `retry_after_seconds`. Read `diagnostics.hint` and change what it names first. Never retry ERR::REQUEST::*, ERR::AUTH::* or ERR::LIMIT::QUOTA_EXCEEDED. - Escalate one step at a time and stop at the first that works: plain fetch (1 credit) -> `js_render: true` (3) -> add the user's own `proxy` if they have one. Empty or skeleton content means render; ERR::UPSTREAM::CHALLENGE or a 403 target status means retry once, then the user's own proxy. - Set `max_cost` on every request to the price of the step you intend. - Keep the cache on (default). Set `cache: false` only for prices, stock or other live data. - Trim tokens with `main_content_only` (on by default for markdown), `include_tags`, `exclude_tags`. - For more than 20 URLs, use a batch job (spicrawl_batch_submit / POST /v1/batch). Batch items return html, markdown or text (spicrawl_batch_submit defaults to markdown, POST /v1/batch to html). Extraction, screenshots, actions and sessions are refused with a 400 before anything is charged: scrape those URLs one by one. - Never print or commit SPICRAWL_API_KEY. Log `X-Request-Id` for failures.Abre Cursor Settings → MCP. Comprueba que
spicrawlesté activado y que muestre 25 herramientas despicrawl_*.
Una primera tarea para probar
Abre el agente en modo Agent y pregunta:
Use Spicrawl to read https://example.com/pricing as markdown. List each plan with its monthly price.
If the page comes back empty, retry with rendering.El agente debe llamar a spicrawl_scrape con format: "markdown". Debe añadir render: true solo si el primer resultado está vacío.
Agentes en la nube
Los agentes en la nube de Cursor se ejecutan en una VM remota, así que no pueden ver la clave de tu shell. Añade el servidor en el panel de Cursor con la URL https://mcp.spicrawl.com/mcp y el encabezado Authorization: Bearer más tu clave. No confirmes la clave en el repositorio. La skill y la regla vienen del repositorio.
Qué puede hacer
El servidor ofrece al agente 25 herramientas de spicrawl_*. Cada llamada se ejecuta con tu clave de API, con los mismos límites y créditos que una llamada directa a la API.
- Lee una página:
spicrawl_scrapedevuelve Markdown (predeterminado), texto, HTML, JSON o PDF. - Lee muchas páginas:
spicrawl_batch_submitpone en cola hasta 10.000 URL. Continúa conspicrawl_batch_statusyspicrawl_batch_results. - Páginas con login:
spicrawl_session_createconserva las cookies y el almacenamiento entre llamadas. - Depura un fallo:
spicrawl_requests_listyspicrawl_request_get. - Revisa el uso:
spicrawl_usage_summaryy las demás herramientas de uso. Requieren una clave con el alcanceread. - Busca cosas:
spicrawl_docs_searchyspicrawl_docs_readbuscan y leen la documentación de Spicrawl.
Una herramienta, spicrawl_browser_connect_url, aparece en la lista pero llegará pronto. En spicrawl_scrape, el argumento de renderizado es render, no el js_render de la API.
Conviene saber
- No rastrea. Spicrawl no sigue enlaces ni encuentra páginas. Dale las URL al agente.
- Créditos por solicitud. Una obtención simple cuesta 1 crédito. El renderizado de JavaScript, 3. El renderizado con navegador completo, 8.
- Los fallos son gratis. Una solicitud fallida cuesta 0 créditos.
- La caché ahorra tiempo, no créditos. Un acierto de caché cuesta lo mismo que la obtención que lo guardó.
- Limita cada llamada. Configura
max_costy una solicitud que podría costar más se rechaza antes de ejecutarse. - Próximamente: proxies gestionados, modo sigiloso, un navegador remoto y extracción con IA a partir de un prompt en lenguaje natural. Hoy puedes usar tu propio proxy.
Preguntas frecuentes
¿Es seguro subir .cursor/mcp.json al repositorio?
Yes, if you use ${env:SPICRAWL_API_KEY} in the header. Cursor replaces it with the value from your environment, so the file holds no key.
¿Por qué el servidor muestra un error 401?
SPICRAWL_API_KEY no estaba definida cuando se inició Cursor. En macOS, las apps iniciadas desde el Dock no ven el perfil de tu shell. Inicia Cursor desde una terminal con cursor . en su lugar.
¿Funciona con los agentes en la nube de Cursor?
Sí. Añade el servidor en el panel de Cursor con la URL y tu encabezado Authorization. No subas la clave al repositorio. La skill y la regla se leen del repositorio.
El servidor aparece en la lista pero no tiene herramientas. ¿Qué hago?
Desactívalo y actívalo de nuevo en Cursor Settings → MCP y luego abre un chat nuevo.
¿Cuánto cuesta cada página?
Una solicitud simple cuesta 1 crédito, el renderizado con JavaScript 3 y el renderizado con navegador completo 8. Las solicitudes fallidas cuestan 0. Un acierto de caché cuesta lo mismo que la solicitud que lo guardó. Pide al agente que configure max_cost en cada solicitud para que nunca gaste más de lo que esperas.