Um servidor MCP de web scraping hospedado para agentes de IA
Conecte seu agente a https://mcp.spicrawl.com/mcp e ele poderá ler qualquer URL como Markdown ou JSON, rodar jobs em batch, reutilizar sessões com login e conferir o próprio uso, sem que você escreva código de scraping.
O que o servidor MCP do Spicrawl faz
O servidor entrega o Spicrawl a um agente de IA como ferramentas nativas. Ele fica hospedado em https://mcp.spicrawl.com/mcp, fala MCP Streamable HTTP e autentica com a sua própria chave de API como bearer token. Cada chamada de ferramenta roda sob essa chave exatamente como se você tivesse chamado a API: os mesmos limites e os mesmos créditos.
Configure com um comando
A CLI do Spicrawl adiciona o servidor MCP e a agent skill do Spicrawl ao seu cliente e mostra as mudanças antes de aplicá-las:
npm install -g @spicrawl/cli
spicrawl init --client claude # or: --client cursor, --client codexOu adicione à mão. Guarde a chave na variável de ambiente SPICRAWL_API_KEY e referencie-a na configuração, para que a chave nunca vá parar em um arquivo commitado:
claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
--header "Authorization: Bearer $SPICRAWL_API_KEY"
# Or, for a team, commit .mcp.json (each person's own key is used):
{
"mcpServers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
}
}
}// .cursor/mcp.json (or ~/.cursor/mcp.json for every project)
{
"mcpServers": {
"spicrawl": {
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
}
}
}// .vscode/mcp.json: VS Code asks for the key once and stores it securely
{
"inputs": [
{ "type": "promptString", "id": "spicrawl-api-key", "description": "Spicrawl API key", "password": true }
],
"servers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" }
}
}
}codex mcp add spicrawl --url https://mcp.spicrawl.com/mcp --bearer-token-env-var SPICRAWL_API_KEY
# Equivalent ~/.codex/config.toml:
[mcp_servers.spicrawl]
url = "https://mcp.spicrawl.com/mcp"
bearer_token_env_var = "SPICRAWL_API_KEY"// claude_desktop_config.json: bridges to the hosted server with mcp-remote (needs Node.js)
{
"mcpServers": {
"spicrawl": {
"command": "npx",
"args": ["-y", "mcp-remote", "https://mcp.spicrawl.com/mcp", "--header", "Authorization:${SPICRAWL_AUTH}"],
"env": { "SPICRAWL_AUTH": "Bearer spicrawl_live_..." }
}
}
}Confira a conexão com claude mcp list, codex mcp list ou as configurações de MCP do seu cliente. Você deve ver 25 ferramentas spicrawl_*.
As ferramentas, agrupadas por tarefa
| Job | Ferramentas |
|---|---|
| Ler uma página | spicrawl_scrape: Markdown (padrão), texto, HTML ou JSON, com renderização opcional, filtros de tags, extração e ações de navegador |
| Muitas URLs | spicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel |
| Páginas com login | spicrawl_session_create, _list, _get, _context, _release, _delete |
| Depure uma falha | spicrawl_requests_list, spicrawl_request_get |
| Créditos e uso | spicrawl_usage, _summary, _reconciliation (precisam do escopo read) |
| Pesquise coisas | spicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index |
A ferramenta para se conectar a um navegador remoto por CDP está listada, mas em breve.
Uma primeira tarefa para testar
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.O agente chama spicrawl_scrape com a URL e format: "markdown", e adiciona render: true só se o primeiro resultado vier vazio. Um passo a passo completo está em como fazer scrape de um site com o Claude Code.
Mantenha os agentes baratos e seguros
- Primeiro o mais barato. Uma requisição simples custa 1 crédito, a renderização JavaScript 3 e a renderização em navegador completo 8. Os agentes devem subir um degrau por vez e parar no primeiro que funcionar.
- Limite todas as chamadas. Defina
max_coste uma requisição que custaria mais é recusada antes de rodar. - Falhas são grátis. Erros e páginas bloqueadas custam 0 crédito.
- Teste sem gastar. As chaves
spicrawl_test_rodam em um sandbox e nunca gastam créditos reais. - Limite o que uma chave pode fazer. As chaves recebem por padrão os escopos
scrape,batchesessions; concedareadsó se o agente precisar ver o uso.
O que ele não faz
- Sem crawl. O Spicrawl não segue links nem descobre URLs. Dê ao agente as URLs, ou a lista de um sitemap, e use um job em batch para muitas páginas.
- Em breve: proxies gerenciados, modo stealth, uma conexão com navegador remoto e extração a partir de um prompt em linguagem natural. Hoje você pode usar seu próprio proxy sem custo extra e extrair dados com seletores CSS ou um JSON Schema.
Como ele se compara a outros servidores MCP de scraping
A maioria das APIs de scraping hoje já traz um servidor MCP. O que cada uma oferece, segundo as nossas páginas de comparação, que citam a documentação de cada fornecedor:
| Provedor | O servidor MCP deles |
|---|---|
| Firecrawl | Servidor MCP hospedado que funciona sem chave, com login OAuth ou com uma chave de API. |
| ZenRows | Servidor MCP hospedado, além de um kit de agente com skills e plugins para Claude Code, Cursor e Codex. |
| Context.dev | Servidor MCP hospedado que faz login com OAuth em vez de uma chave de API, além de uma agent skill. |
| ScrapingBee | Servidor MCP hospedado com ferramentas para buscar páginas, texto, screenshots, resultados de busca e uso. |
| Bright Data | Servidor MCP com licença MIT, hospedado ou rodando localmente. Um modo padrão grátis faz scrape de páginas em Markdown e pesquisa na web; o modo Pro adiciona mais de 60 ferramentas. |
| Jina Reader | Servidor MCP hospedado com ferramentas para ler URLs, tirar screenshots e fazer buscas. A leitura funciona sem chave. |
| Apify | Servidor MCP oficial que permite aos agentes descobrir e rodar scrapers prontos (Actors). |
| Browserbase | Servidor MCP hospedado, criado sobre o Stagehand, que controla um navegador na nuvem com comandos em linguagem natural. |
Escolha o servidor do Spicrawl quando o seu agente lê principalmente páginas cujas URLs ele já tem, e você quer Markdown limpo, sessões para páginas com login e falhas que não custam nada. Escolha um que faça crawl ou busca quando o agente precisar encontrar as páginas primeiro.
Perguntas frequentes
O que é um servidor MCP de web scraping?
É um servidor Model Context Protocol que dá a um agente de IA ferramentas para buscar páginas web. Em vez de escrever código HTTP, o agente chama uma ferramenta como spicrawl_scrape com uma URL e recebe a página de volta como Markdown, texto, HTML ou JSON.
Com quais agentes de IA e editores ele funciona?
Qualquer cliente MCP que consiga se conectar a um servidor remoto por Streamable HTTP e enviar um cabeçalho Authorization, incluindo Claude Code, Cursor, VS Code e a Codex CLI. O Claude Desktop pode se conectar pela ponte mcp-remote.
O servidor MCP do Spicrawl é grátis?
O Spicrawl é grátis durante o beta, sem cartão de crédito. As chamadas de ferramenta usam os mesmos créditos da API: 1 para uma requisição simples, 3 para renderização JavaScript e 8 para renderização em navegador completo. Requisições com falha e bloqueadas custam 0.
O servidor MCP faz crawl de um site inteiro?
Não. O Spicrawl não descobre URLs nem segue links. Dê ao agente as URLs que você quer, ou uma lista de um sitemap, e use um job em batch para muitas páginas.
Como mantenho a minha chave de API segura?
Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.
Funciona com páginas que exigem login?
Sim, para contas que você possui ou tem permissão para usar. Crie uma sessão com spicrawl_session_create, faça login com ações de navegador e depois passe o ID da sessão nos scrapes seguintes para que cookies e armazenamento do navegador sejam mantidos.