Hostowany serwer MCP do web scrapingu dla agentów AI
Połącz agenta z https://mcp.spicrawl.com/mcp, a będzie mógł czytać dowolny adres URL jako Markdown lub JSON, uruchamiać zadania batch, używać ponownie sesji logowania i sprawdzać własne użycie, bez pisania przez Ciebie kodu do scrapingu.
Co robi serwer MCP Spicrawl
Serwer daje agentowi AI Spicrawl jako natywne narzędzia. Jest hostowany pod https://mcp.spicrawl.com/mcp, obsługuje MCP Streamable HTTP i uwierzytelnia się Twoim własnym kluczem API jako tokenem bearer. Każde wywołanie narzędzia działa na tym kluczu dokładnie tak, jakbyś sam wywołał API: z tymi samymi limitami i tymi samymi kredytami.
Skonfiguruj jednym poleceniem
CLI Spicrawl dodaje do Twojego klienta serwer MCP i agent skill Spicrawl oraz pokazuje zmiany przed ich zastosowaniem:
npm install -g @spicrawl/cli
spicrawl init --client claude # or: --client cursor, --client codexAlbo dodaj go ręcznie. Trzymaj klucz w zmiennej środowiskowej SPICRAWL_API_KEY i odwołuj się do niej z konfiguracji, aby klucz nigdy nie trafił do commitowanego pliku:
claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
--header "Authorization: Bearer $SPICRAWL_API_KEY"
# Or, for a team, commit .mcp.json (each person's own key is used):
{
"mcpServers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
}
}
}// .cursor/mcp.json (or ~/.cursor/mcp.json for every project)
{
"mcpServers": {
"spicrawl": {
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
}
}
}// .vscode/mcp.json: VS Code asks for the key once and stores it securely
{
"inputs": [
{ "type": "promptString", "id": "spicrawl-api-key", "description": "Spicrawl API key", "password": true }
],
"servers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" }
}
}
}codex mcp add spicrawl --url https://mcp.spicrawl.com/mcp --bearer-token-env-var SPICRAWL_API_KEY
# Equivalent ~/.codex/config.toml:
[mcp_servers.spicrawl]
url = "https://mcp.spicrawl.com/mcp"
bearer_token_env_var = "SPICRAWL_API_KEY"// claude_desktop_config.json: bridges to the hosted server with mcp-remote (needs Node.js)
{
"mcpServers": {
"spicrawl": {
"command": "npx",
"args": ["-y", "mcp-remote", "https://mcp.spicrawl.com/mcp", "--header", "Authorization:${SPICRAWL_AUTH}"],
"env": { "SPICRAWL_AUTH": "Bearer spicrawl_live_..." }
}
}
}Sprawdź połączenie za pomocą claude mcp list, codex mcp list lub ustawień MCP w swoim kliencie. Powinieneś zobaczyć 25 narzędzi spicrawl_*.
Narzędzia pogrupowane według zadania
| Zadanie | Narzędzia |
|---|---|
| Przeczytaj jedną stronę | spicrawl_scrape: Markdown (domyślnie), tekst, HTML lub JSON, z opcjonalnym renderowaniem, filtrami tagów, ekstrakcją i akcjami w przeglądarce |
| Wiele adresów URL | spicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel |
| Strony wymagające logowania | spicrawl_session_create, _list, _get, _context, _release, _delete |
| Zdiagnozuj błąd | spicrawl_requests_list, spicrawl_request_get |
| Kredyty i użycie | spicrawl_usage, _summary, _reconciliation (wymagają uprawnienia read) |
| Wyszukuj informacje | spicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index |
Narzędzie do łączenia się ze zdalną przeglądarką przez CDP jest na liście, ale wkrótce.
Pierwsze zadanie na próbę
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.Agent wywołuje spicrawl_scrape z adresem URL i format: "markdown", a render: true dodaje tylko wtedy, gdy pierwszy wynik jest pusty. Pełny opis krok po kroku znajdziesz w jak scrapować stronę za pomocą Claude Code.
Utrzymaj agentów tanich i bezpiecznych
- Najpierw najtańsze. Zwykłe żądanie to 1 kredyt, renderowanie JavaScriptu 3, renderowanie w pełnej przeglądarce 8. Agenci powinni przechodzić wyżej o jeden krok i zatrzymać się na pierwszym, który działa.
- Ogranicz każde wywołanie. Ustaw
max_cost, a żądanie, które kosztowałoby więcej, zostanie odrzucone, zanim się wykona. - Błędy są darmowe. Błędy i zablokowane strony kosztują 0 kredytów.
- Testuj bez wydawania. Klucze
spicrawl_test_działają w sandboxie i nigdy nie zużywają prawdziwych kredytów. - Ogranicz, co może robić klucz. Klucze domyślnie dostają uprawnienia
scrape,batchisessions; nadajreadtylko wtedy, gdy agent ma widzieć użycie.
Czego nie robi
- Bez crawlowania. Spicrawl nie podąża za linkami ani nie wyszukuje adresów URL. Daj agentowi adresy URL lub listę z mapy witryny i użyj zadania batch dla wielu stron.
- Wkrótce: zarządzane proxy, tryb stealth, połączenie ze zdalną przeglądarką i ekstrakcja z promptu w zwykłym języku. Dziś możesz użyć własnego proxy bez dodatkowych kosztów i wyodrębniać dane selektorami CSS lub schematem JSON Schema.
Jak wypada na tle innych serwerów MCP do scrapingu
Większość API do scrapingu ma teraz serwer MCP. Co oferuje każde z nich, według naszych stron porównań, które powołują się na dokumentację każdego dostawcy:
| Dostawca | Ich serwer MCP |
|---|---|
| Firecrawl | Hostowany serwer MCP, który działa bez klucza, z logowaniem OAuth lub z kluczem API. |
| ZenRows | Hostowany serwer MCP, plus zestaw narzędzi dla agentów ze skillami i wtyczkami dla Claude Code, Cursor i Codex. |
| Context.dev | Hostowany serwer MCP, który loguje przez OAuth zamiast klucza API, plus agent skill. |
| ScrapingBee | Hostowany serwer MCP z narzędziami do pobierania stron, tekstu, zrzutów ekranu, wyników wyszukiwania i użycia. |
| Bright Data | Serwer MCP na licencji MIT, hostowany lub uruchamiany lokalnie. Darmowy tryb domyślny scrapuje strony do Markdown i przeszukuje sieć; tryb Pro dodaje 60+ narzędzi. |
| Jina Reader | Hostowany serwer MCP z narzędziami do czytania adresów URL, robienia zrzutów ekranu i wyszukiwania. Czytanie działa bez klucza. |
| Apify | Oficjalny serwer MCP, który pozwala agentom odkrywać i uruchamiać gotowe scrapery (Actors). |
| Browserbase | Hostowany serwer MCP zbudowany na Stagehand, który steruje przeglądarką w chmurze poleceniami w zwykłym języku. |
Wybierz serwer Spicrawl, gdy Twój agent głównie czyta strony, do których już ma adresy URL, i chcesz czystego Markdown, sesji dla stron wymagających logowania oraz błędów, które nic nie kosztują. Wybierz taki, który crawluje lub wyszukuje, gdy agent musi najpierw znaleźć strony.
Najczęściej zadawane pytania
Czym jest serwer MCP do web scrapingu?
To serwer Model Context Protocol, który daje agentowi AI narzędzia do pobierania stron. Zamiast pisać kod HTTP, agent wywołuje narzędzie, takie jak spicrawl_scrape, z adresem URL i dostaje stronę jako Markdown, tekst, HTML lub JSON.
Z jakimi agentami AI i edytorami działa?
Dowolny klient MCP, który łączy się ze zdalnym serwerem przez Streamable HTTP i wysyła nagłówek Authorization, w tym Claude Code, Cursor, VS Code i Codex CLI. Claude Desktop może się łączyć przez most mcp-remote.
Czy serwer MCP Spicrawl jest darmowy?
Spicrawl jest bezpłatny w becie, bez karty kredytowej. Wywołania narzędzi zużywają te same kredyty co API: 1 za zwykłe żądanie, 3 za renderowanie JavaScriptu i 8 za renderowanie w pełnej przeglądarce. Nieudane i zablokowane żądania kosztują 0.
Czy serwer MCP potrafi crawlować całą stronę?
Nie. Spicrawl nie odkrywa adresów URL ani nie podąża za linkami. Daj agentowi adresy URL, które chcesz, lub listę z mapy witryny, i użyj zadania batch dla wielu stron.
Jak chronić mój klucz API?
Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.
Czy działa ze stronami wymagającymi logowania?
Tak, dla kont, którymi zarządzasz lub których możesz używać. Utwórz sesję za pomocą spicrawl_session_create, zaloguj się akcjami w przeglądarce, a potem przekaż ID sesji w kolejnych scrape'ach, aby ciasteczka i storage przeglądarki się przenosiły.