Un servidor MCP de web scraping alojado para agentes de IA
Conecta tu agente a https://mcp.spicrawl.com/mcp y podrá leer cualquier URL como Markdown o JSON, ejecutar trabajos batch, reutilizar sesiones con login y revisar su propio uso, sin que escribas código de scraping.
Qué hace el servidor MCP de Spicrawl
El servidor ofrece a un agente de IA Spicrawl como herramientas nativas. Está alojado en https://mcp.spicrawl.com/mcp, habla MCP Streamable HTTP y se autentica con tu propia clave de API como token bearer. Cada llamada a una herramienta se ejecuta con esa clave exactamente como si hubieras llamado tú mismo a la API: los mismos límites y los mismos créditos.
Configúralo con un solo comando
La CLI de Spicrawl añade el servidor MCP y la skill de agente de Spicrawl a tu cliente, y muestra los cambios antes de aplicarlos:
npm install -g @spicrawl/cli
spicrawl init --client claude # or: --client cursor, --client codexO añádelo a mano. Guarda la clave en la variable de entorno SPICRAWL_API_KEY y referénciala desde la configuración, así la clave nunca acaba en un archivo confirmado en el repositorio:
claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
--header "Authorization: Bearer $SPICRAWL_API_KEY"
# Or, for a team, commit .mcp.json (each person's own key is used):
{
"mcpServers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
}
}
}// .cursor/mcp.json (or ~/.cursor/mcp.json for every project)
{
"mcpServers": {
"spicrawl": {
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
}
}
}// .vscode/mcp.json: VS Code asks for the key once and stores it securely
{
"inputs": [
{ "type": "promptString", "id": "spicrawl-api-key", "description": "Spicrawl API key", "password": true }
],
"servers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" }
}
}
}codex mcp add spicrawl --url https://mcp.spicrawl.com/mcp --bearer-token-env-var SPICRAWL_API_KEY
# Equivalent ~/.codex/config.toml:
[mcp_servers.spicrawl]
url = "https://mcp.spicrawl.com/mcp"
bearer_token_env_var = "SPICRAWL_API_KEY"// claude_desktop_config.json: bridges to the hosted server with mcp-remote (needs Node.js)
{
"mcpServers": {
"spicrawl": {
"command": "npx",
"args": ["-y", "mcp-remote", "https://mcp.spicrawl.com/mcp", "--header", "Authorization:${SPICRAWL_AUTH}"],
"env": { "SPICRAWL_AUTH": "Bearer spicrawl_live_..." }
}
}
}Comprueba la conexión con claude mcp list, codex mcp list o los ajustes de MCP de tu cliente. Deberías ver 25 herramientas de spicrawl_*.
Las herramientas, agrupadas por tarea
| Trabajo | Herramientas |
|---|---|
| Lee una página | spicrawl_scrape: Markdown (predeterminado), texto, HTML o JSON, con renderizado opcional, filtros de etiquetas, extracción y acciones del navegador |
| Muchas URL | spicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel |
| Páginas con login | spicrawl_session_create, _list, _get, _context, _release, _delete |
| Depura un fallo | spicrawl_requests_list, spicrawl_request_get |
| Créditos y uso | spicrawl_usage, _summary, _reconciliation (requieren el alcance read) |
| Busca cosas | spicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index |
La herramienta para conectarse a un navegador remoto mediante CDP aparece en la lista pero llegará pronto.
Una primera tarea para probar
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.El agente llama a spicrawl_scrape con la URL y format: "markdown", y añade render: true solo si el primer resultado está vacío. Hay un recorrido completo en cómo hacer scraping de un sitio web con Claude Code.
Mantén los agentes baratos y seguros
- Primero lo más barato. Una solicitud simple cuesta 1 crédito, el renderizado de JavaScript 3 y el renderizado con navegador completo 8. Los agentes deben escalar un paso cada vez y detenerse en el primero que funcione.
- Limita cada llamada. Configura
max_costy una solicitud que costaría más se rechaza antes de ejecutarse. - Los fallos son gratis. Los errores y las páginas bloqueadas cuestan 0 créditos.
- Prueba sin gastar. Las claves
spicrawl_test_se ejecutan en un sandbox y nunca gastan créditos reales. - Limita lo que puede hacer una clave. Las claves reciben por defecto los alcances
scrape,batchysessions; concedereadsolo si el agente debe ver el uso.
Qué no hace
- No rastrea. Spicrawl no sigue enlaces ni descubre URL. Dale al agente las URL, o la lista de un sitemap, y usa un trabajo batch para muchas páginas.
- Próximamente: proxies gestionados, modo sigiloso, una conexión a un navegador remoto y extracción a partir de un prompt en lenguaje natural. Hoy puedes usar tu propio proxy sin coste extra y extraer datos con selectores CSS o un JSON Schema.
Cómo se compara con otros servidores MCP de scraping
La mayoría de las API de scraping ya incluyen un servidor MCP. Qué ofrece cada una, según nuestras páginas de comparación, que citan la documentación de cada proveedor:
| Proveedor | Su servidor MCP |
|---|---|
| Firecrawl | Servidor MCP alojado que funciona sin clave, con inicio de sesión OAuth o con una clave de API. |
| ZenRows | Servidor MCP alojado, además de un kit para agentes con skills y plugins para Claude Code, Cursor y Codex. |
| Context.dev | Servidor MCP alojado que inicia sesión con OAuth en lugar de una clave de API, además de una skill de agente. |
| ScrapingBee | Servidor MCP alojado con herramientas para obtener páginas, texto, capturas de pantalla, resultados de búsqueda y uso. |
| Bright Data | Servidor MCP con licencia MIT, alojado o ejecutado en local. Un modo predeterminado gratuito hace scrape de páginas a Markdown y busca en la web; el modo Pro añade más de 60 herramientas. |
| Jina Reader | Servidor MCP alojado con herramientas para leer URL, tomar capturas de pantalla y buscar. Leer funciona sin clave. |
| Apify | Servidor MCP oficial que permite a los agentes descubrir y ejecutar scrapers listos para usar (Actors). |
| Browserbase | Servidor MCP alojado basado en Stagehand que controla un navegador en la nube con comandos en lenguaje natural. |
Elige el servidor de Spicrawl cuando tu agente sobre todo lee páginas de las que ya tiene la URL, y quieres Markdown limpio, sesiones para páginas con login y fallos que no cuestan nada. Elige uno que haga crawl o búsqueda cuando el agente tenga que encontrar primero las páginas.
Preguntas frecuentes
¿Qué es un servidor MCP de web scraping?
Es un servidor Model Context Protocol que da a un agente de IA herramientas para obtener páginas web. En lugar de escribir código HTTP, el agente llama a una herramienta como spicrawl_scrape con una URL y recibe la página como Markdown, texto, HTML o JSON.
¿Con qué agentes de IA y editores funciona?
Cualquier cliente MCP que pueda conectarse a un servidor remoto mediante Streamable HTTP y enviar un encabezado Authorization, incluidos Claude Code, Cursor, VS Code y Codex CLI. Claude Desktop puede conectarse mediante el puente mcp-remote.
¿El servidor MCP de Spicrawl es gratis?
Spicrawl es gratis durante su beta, sin tarjeta de crédito. Las llamadas a herramientas usan los mismos créditos que la API: 1 por una solicitud simple, 3 por renderizado con JavaScript y 8 por renderizado con navegador completo. Las solicitudes fallidas y bloqueadas cuestan 0.
¿El servidor MCP puede rastrear un sitio web completo?
No. Spicrawl no descubre URL ni sigue enlaces. Dale al agente las URL que quieres, o una lista de un sitemap, y usa un trabajo batch para muchas páginas.
¿Cómo mantengo segura mi clave de API?
Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.
¿Funciona con páginas con login?
Sí, para cuentas que sean tuyas o que puedas usar. Crea una sesión con spicrawl_session_create, inicia sesión con acciones del navegador y luego pasa el ID de sesión en los scrapes posteriores para que las cookies y el almacenamiento del navegador se mantengan.