Spicrawl działa teraz z OpenAI Agents SDK, LangChain, Codex, Claude Code i nie tylko.Zobacz integracje
Przejdź do treści

Hostowany serwer MCP do web scrapingu dla agentów AI

Połącz agenta z https://mcp.spicrawl.com/mcp, a będzie mógł czytać dowolny adres URL jako Markdown lub JSON, uruchamiać zadania batch, używać ponownie sesji logowania i sprawdzać własne użycie, bez pisania przez Ciebie kodu do scrapingu.

Co robi serwer MCP Spicrawl

Serwer daje agentowi AI Spicrawl jako natywne narzędzia. Jest hostowany pod https://mcp.spicrawl.com/mcp, obsługuje MCP Streamable HTTP i uwierzytelnia się Twoim własnym kluczem API jako tokenem bearer. Każde wywołanie narzędzia działa na tym kluczu dokładnie tak, jakbyś sam wywołał API: z tymi samymi limitami i tymi samymi kredytami.

Skonfiguruj jednym poleceniem

CLI Spicrawl dodaje do Twojego klienta serwer MCP i agent skill Spicrawl oraz pokazuje zmiany przed ich zastosowaniem:

bash
npm install -g @spicrawl/cli
spicrawl init --client claude   # or: --client cursor, --client codex

Albo dodaj go ręcznie. Trzymaj klucz w zmiennej środowiskowej SPICRAWL_API_KEY i odwołuj się do niej z konfiguracji, aby klucz nigdy nie trafił do commitowanego pliku:

claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
  --header "Authorization: Bearer $SPICRAWL_API_KEY"

# Or, for a team, commit .mcp.json (each person's own key is used):
{
  "mcpServers": {
    "spicrawl": {
      "type": "http",
      "url": "https://mcp.spicrawl.com/mcp",
      "headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
    }
  }
}

Sprawdź połączenie za pomocą claude mcp list, codex mcp list lub ustawień MCP w swoim kliencie. Powinieneś zobaczyć 25 narzędzi spicrawl_*.

Narzędzia pogrupowane według zadania

ZadanieNarzędzia
Przeczytaj jedną stronęspicrawl_scrape: Markdown (domyślnie), tekst, HTML lub JSON, z opcjonalnym renderowaniem, filtrami tagów, ekstrakcją i akcjami w przeglądarce
Wiele adresów URLspicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel
Strony wymagające logowaniaspicrawl_session_create, _list, _get, _context, _release, _delete
Zdiagnozuj błądspicrawl_requests_list, spicrawl_request_get
Kredyty i użyciespicrawl_usage, _summary, _reconciliation (wymagają uprawnienia read)
Wyszukuj informacjespicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index

Narzędzie do łączenia się ze zdalną przeglądarką przez CDP jest na liście, ale wkrótce.

Pierwsze zadanie na próbę

prompt
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.

Agent wywołuje spicrawl_scrape z adresem URL i format: "markdown", a render: true dodaje tylko wtedy, gdy pierwszy wynik jest pusty. Pełny opis krok po kroku znajdziesz w jak scrapować stronę za pomocą Claude Code.

Utrzymaj agentów tanich i bezpiecznych

  • Najpierw najtańsze. Zwykłe żądanie to 1 kredyt, renderowanie JavaScriptu 3, renderowanie w pełnej przeglądarce 8. Agenci powinni przechodzić wyżej o jeden krok i zatrzymać się na pierwszym, który działa.
  • Ogranicz każde wywołanie. Ustaw max_cost, a żądanie, które kosztowałoby więcej, zostanie odrzucone, zanim się wykona.
  • Błędy są darmowe. Błędy i zablokowane strony kosztują 0 kredytów.
  • Testuj bez wydawania. Klucze spicrawl_test_ działają w sandboxie i nigdy nie zużywają prawdziwych kredytów.
  • Ogranicz, co może robić klucz. Klucze domyślnie dostają uprawnienia scrape, batch i sessions; nadaj read tylko wtedy, gdy agent ma widzieć użycie.

Czego nie robi

  • Bez crawlowania. Spicrawl nie podąża za linkami ani nie wyszukuje adresów URL. Daj agentowi adresy URL lub listę z mapy witryny i użyj zadania batch dla wielu stron.
  • Wkrótce: zarządzane proxy, tryb stealth, połączenie ze zdalną przeglądarką i ekstrakcja z promptu w zwykłym języku. Dziś możesz użyć własnego proxy bez dodatkowych kosztów i wyodrębniać dane selektorami CSS lub schematem JSON Schema.

Jak wypada na tle innych serwerów MCP do scrapingu

Większość API do scrapingu ma teraz serwer MCP. Co oferuje każde z nich, według naszych stron porównań, które powołują się na dokumentację każdego dostawcy:

DostawcaIch serwer MCP
FirecrawlHostowany serwer MCP, który działa bez klucza, z logowaniem OAuth lub z kluczem API.
ZenRowsHostowany serwer MCP, plus zestaw narzędzi dla agentów ze skillami i wtyczkami dla Claude Code, Cursor i Codex.
Context.devHostowany serwer MCP, który loguje przez OAuth zamiast klucza API, plus agent skill.
ScrapingBeeHostowany serwer MCP z narzędziami do pobierania stron, tekstu, zrzutów ekranu, wyników wyszukiwania i użycia.
Bright DataSerwer MCP na licencji MIT, hostowany lub uruchamiany lokalnie. Darmowy tryb domyślny scrapuje strony do Markdown i przeszukuje sieć; tryb Pro dodaje 60+ narzędzi.
Jina ReaderHostowany serwer MCP z narzędziami do czytania adresów URL, robienia zrzutów ekranu i wyszukiwania. Czytanie działa bez klucza.
ApifyOficjalny serwer MCP, który pozwala agentom odkrywać i uruchamiać gotowe scrapery (Actors).
BrowserbaseHostowany serwer MCP zbudowany na Stagehand, który steruje przeglądarką w chmurze poleceniami w zwykłym języku.

Wybierz serwer Spicrawl, gdy Twój agent głównie czyta strony, do których już ma adresy URL, i chcesz czystego Markdown, sesji dla stron wymagających logowania oraz błędów, które nic nie kosztują. Wybierz taki, który crawluje lub wyszukuje, gdy agent musi najpierw znaleźć strony.

Najczęściej zadawane pytania

Czym jest serwer MCP do web scrapingu?

To serwer Model Context Protocol, który daje agentowi AI narzędzia do pobierania stron. Zamiast pisać kod HTTP, agent wywołuje narzędzie, takie jak spicrawl_scrape, z adresem URL i dostaje stronę jako Markdown, tekst, HTML lub JSON.

Z jakimi agentami AI i edytorami działa?

Dowolny klient MCP, który łączy się ze zdalnym serwerem przez Streamable HTTP i wysyła nagłówek Authorization, w tym Claude Code, Cursor, VS Code i Codex CLI. Claude Desktop może się łączyć przez most mcp-remote.

Czy serwer MCP Spicrawl jest darmowy?

Spicrawl jest bezpłatny w becie, bez karty kredytowej. Wywołania narzędzi zużywają te same kredyty co API: 1 za zwykłe żądanie, 3 za renderowanie JavaScriptu i 8 za renderowanie w pełnej przeglądarce. Nieudane i zablokowane żądania kosztują 0.

Czy serwer MCP potrafi crawlować całą stronę?

Nie. Spicrawl nie odkrywa adresów URL ani nie podąża za linkami. Daj agentowi adresy URL, które chcesz, lub listę z mapy witryny, i użyj zadania batch dla wielu stron.

Jak chronić mój klucz API?

Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.

Czy działa ze stronami wymagającymi logowania?

Tak, dla kont, którymi zarządzasz lub których możesz używać. Utwórz sesję za pomocą spicrawl_session_create, zaloguj się akcjami w przeglądarce, a potem przekaż ID sesji w kolejnych scrape'ach, aby ciasteczka i storage przeglądarki się przenosiły.