O Spicrawl agora funciona com OpenAI Agents SDK, LangChain, Codex, Claude Code e mais.Ver integrações
Pular para o conteúdo

Um servidor MCP de web scraping hospedado para agentes de IA

Conecte seu agente a https://mcp.spicrawl.com/mcp e ele poderá ler qualquer URL como Markdown ou JSON, rodar jobs em batch, reutilizar sessões com login e conferir o próprio uso, sem que você escreva código de scraping.

O que o servidor MCP do Spicrawl faz

O servidor entrega o Spicrawl a um agente de IA como ferramentas nativas. Ele fica hospedado em https://mcp.spicrawl.com/mcp, fala MCP Streamable HTTP e autentica com a sua própria chave de API como bearer token. Cada chamada de ferramenta roda sob essa chave exatamente como se você tivesse chamado a API: os mesmos limites e os mesmos créditos.

Configure com um comando

A CLI do Spicrawl adiciona o servidor MCP e a agent skill do Spicrawl ao seu cliente e mostra as mudanças antes de aplicá-las:

bash
npm install -g @spicrawl/cli
spicrawl init --client claude   # or: --client cursor, --client codex

Ou adicione à mão. Guarde a chave na variável de ambiente SPICRAWL_API_KEY e referencie-a na configuração, para que a chave nunca vá parar em um arquivo commitado:

claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
  --header "Authorization: Bearer $SPICRAWL_API_KEY"

# Or, for a team, commit .mcp.json (each person's own key is used):
{
  "mcpServers": {
    "spicrawl": {
      "type": "http",
      "url": "https://mcp.spicrawl.com/mcp",
      "headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
    }
  }
}

Confira a conexão com claude mcp list, codex mcp list ou as configurações de MCP do seu cliente. Você deve ver 25 ferramentas spicrawl_*.

As ferramentas, agrupadas por tarefa

JobFerramentas
Ler uma páginaspicrawl_scrape: Markdown (padrão), texto, HTML ou JSON, com renderização opcional, filtros de tags, extração e ações de navegador
Muitas URLsspicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel
Páginas com loginspicrawl_session_create, _list, _get, _context, _release, _delete
Depure uma falhaspicrawl_requests_list, spicrawl_request_get
Créditos e usospicrawl_usage, _summary, _reconciliation (precisam do escopo read)
Pesquise coisasspicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index

A ferramenta para se conectar a um navegador remoto por CDP está listada, mas em breve.

Uma primeira tarefa para testar

prompt
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.

O agente chama spicrawl_scrape com a URL e format: "markdown", e adiciona render: true só se o primeiro resultado vier vazio. Um passo a passo completo está em como fazer scrape de um site com o Claude Code.

Mantenha os agentes baratos e seguros

  • Primeiro o mais barato. Uma requisição simples custa 1 crédito, a renderização JavaScript 3 e a renderização em navegador completo 8. Os agentes devem subir um degrau por vez e parar no primeiro que funcionar.
  • Limite todas as chamadas. Defina max_cost e uma requisição que custaria mais é recusada antes de rodar.
  • Falhas são grátis. Erros e páginas bloqueadas custam 0 crédito.
  • Teste sem gastar. As chaves spicrawl_test_ rodam em um sandbox e nunca gastam créditos reais.
  • Limite o que uma chave pode fazer. As chaves recebem por padrão os escopos scrape, batch e sessions; conceda read só se o agente precisar ver o uso.

O que ele não faz

  • Sem crawl. O Spicrawl não segue links nem descobre URLs. Dê ao agente as URLs, ou a lista de um sitemap, e use um job em batch para muitas páginas.
  • Em breve: proxies gerenciados, modo stealth, uma conexão com navegador remoto e extração a partir de um prompt em linguagem natural. Hoje você pode usar seu próprio proxy sem custo extra e extrair dados com seletores CSS ou um JSON Schema.

Como ele se compara a outros servidores MCP de scraping

A maioria das APIs de scraping hoje já traz um servidor MCP. O que cada uma oferece, segundo as nossas páginas de comparação, que citam a documentação de cada fornecedor:

ProvedorO servidor MCP deles
FirecrawlServidor MCP hospedado que funciona sem chave, com login OAuth ou com uma chave de API.
ZenRowsServidor MCP hospedado, além de um kit de agente com skills e plugins para Claude Code, Cursor e Codex.
Context.devServidor MCP hospedado que faz login com OAuth em vez de uma chave de API, além de uma agent skill.
ScrapingBeeServidor MCP hospedado com ferramentas para buscar páginas, texto, screenshots, resultados de busca e uso.
Bright DataServidor MCP com licença MIT, hospedado ou rodando localmente. Um modo padrão grátis faz scrape de páginas em Markdown e pesquisa na web; o modo Pro adiciona mais de 60 ferramentas.
Jina ReaderServidor MCP hospedado com ferramentas para ler URLs, tirar screenshots e fazer buscas. A leitura funciona sem chave.
ApifyServidor MCP oficial que permite aos agentes descobrir e rodar scrapers prontos (Actors).
BrowserbaseServidor MCP hospedado, criado sobre o Stagehand, que controla um navegador na nuvem com comandos em linguagem natural.

Escolha o servidor do Spicrawl quando o seu agente lê principalmente páginas cujas URLs ele já tem, e você quer Markdown limpo, sessões para páginas com login e falhas que não custam nada. Escolha um que faça crawl ou busca quando o agente precisar encontrar as páginas primeiro.

Perguntas frequentes

O que é um servidor MCP de web scraping?

É um servidor Model Context Protocol que dá a um agente de IA ferramentas para buscar páginas web. Em vez de escrever código HTTP, o agente chama uma ferramenta como spicrawl_scrape com uma URL e recebe a página de volta como Markdown, texto, HTML ou JSON.

Com quais agentes de IA e editores ele funciona?

Qualquer cliente MCP que consiga se conectar a um servidor remoto por Streamable HTTP e enviar um cabeçalho Authorization, incluindo Claude Code, Cursor, VS Code e a Codex CLI. O Claude Desktop pode se conectar pela ponte mcp-remote.

O servidor MCP do Spicrawl é grátis?

O Spicrawl é grátis durante o beta, sem cartão de crédito. As chamadas de ferramenta usam os mesmos créditos da API: 1 para uma requisição simples, 3 para renderização JavaScript e 8 para renderização em navegador completo. Requisições com falha e bloqueadas custam 0.

O servidor MCP faz crawl de um site inteiro?

Não. O Spicrawl não descobre URLs nem segue links. Dê ao agente as URLs que você quer, ou uma lista de um sitemap, e use um job em batch para muitas páginas.

Como mantenho a minha chave de API segura?

Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.

Funciona com páginas que exigem login?

Sim, para contas que você possui ou tem permissão para usar. Crie uma sessão com spicrawl_session_create, faça login com ações de navegador e depois passe o ID da sessão nos scrapes seguintes para que cookies e armazenamento do navegador sejam mantidos.