Spicrawl działa teraz z OpenAI Agents SDK, LangChain, Codex, Claude Code i nie tylko.Zobacz integracje
Przejdź do treści

Web scraping w LangChain ze Spicrawl

Połącz agenta LangChain z serwerem MCP Spicrawl. Agent będzie mógł wtedy czytać strony jako Markdown.

Skonfiguruj

  1. Zainstaluj langchain-mcp-adapters i langchain[openai].

  2. Ustaw SPICRAWL_API_KEY i klucz swojego dostawcy modelu (OPENAI_API_KEY tutaj).

  3. Utwórz MultiServerMCPClient z jednym wpisem spicrawl. "transport": "streamable_http" i headers ustawiają połączenie.

  4. Zostaw tylko potrzebne narzędzia i zbuduj agenta LangGraph za pomocą create_agent.

Przykład: odczyt strony z cennikiem

langchain_example.py
import asyncio
import os

from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient


async def main() -> None:
    client = MultiServerMCPClient(
        {
            "spicrawl": {
                "transport": "streamable_http",
                "url": "https://mcp.spicrawl.com/mcp",
                "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
            }
        }
    )
    keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
    tools = [t for t in await client.get_tools() if t.name in keep]

    agent = create_agent("openai:gpt-4.1", tools)
    result = await agent.ainvoke(
        {"messages": "Read https://example.com/pricing as markdown and list the plans."}
    )
    print(result["messages"][-1].content)


asyncio.run(main())

Domyślnie każde wywołanie narzędzia otwiera własną sesję MCP. To w porządku dla spicrawl_scrape, który jest bezstanowy. Serwer nie ma OAuth, więc zawsze wysyłaj klucz w headers.

Utrzymuj listę narzędzi krótką

Wszystkie 25 schematów narzędzi jest wysyłanych przy każdym wywołaniu modelu. To podnosi koszt promptu i może mylić model. Zostaw spicrawl_scrape, a dla wielu adresów URL dodaj spicrawl_batch_submit, spicrawl_batch_status i spicrawl_batch_results.

Jeśli Twój kod już wie, który adres URL pobrać, możesz w ogóle nie potrzebować MCP. Zwykła funkcja wywołująca POST /v1/scrape nie kosztuje tokenów na schematy narzędzi i łatwiej ją testować.

Co potrafi

Serwer daje agentowi 25 narzędzi spicrawl_*. Każde wywołanie działa na Twoim kluczu API, z tymi samymi limitami i kredytami co bezpośrednie wywołanie API.

  • Przeczytaj jedną stronę: spicrawl_scrape zwraca Markdown (domyślnie), tekst, HTML, JSON lub PDF.
  • Czytaj wiele stron: spicrawl_batch_submit kolejkuje do 10,000 adresów URL. Potem użyj spicrawl_batch_status i spicrawl_batch_results.
  • Strony za logowaniem: spicrawl_session_create zachowuje ciasteczka i storage między wywołaniami.
  • Zdiagnozuj błąd: spicrawl_requests_list i spicrawl_request_get.
  • Sprawdź użycie: spicrawl_usage_summary i pozostałe narzędzia użycia. Wymagają klucza z uprawnieniem read.
  • Wyszukuj informacje: spicrawl_docs_search i spicrawl_docs_read przeszukują i czytają dokumentację Spicrawl.

Jedno narzędzie, spicrawl_browser_connect_url, jest na liście, ale wkrótce. W spicrawl_scrape argument renderowania to render, a nie js_render z API.

Warto wiedzieć

  • Bez crawlowania. Spicrawl nie podąża za linkami ani nie wyszukuje stron. Daj agentowi adresy URL.
  • Kredyty na żądanie. Zwykłe pobranie to 1 kredyt. Renderowanie JavaScriptu to 3. Renderowanie w pełnej przeglądarce to 8.
  • Błędy są darmowe. Nieudane żądanie kosztuje 0 kredytów.
  • Cache oszczędza czas, a nie kredyty. Trafienie w cache kosztuje tyle samo co pobranie, które je zapisało.
  • Ogranicz każde wywołanie. Ustaw max_cost, a żądanie, które mogłoby kosztować więcej, zostanie odrzucone, zanim się wykona.
  • Wkrótce: zarządzane proxy, tryb stealth, zdalna przeglądarka i ekstrakcja AI z promptu w zwykłym języku. Dziś możesz użyć własnego proxy.

Najczęściej zadawane pytania

Jakich pakietów potrzebuję?

langchain-mcp-adapters i langchain[openai]. Ustaw SPICRAWL_API_KEY i OPENAI_API_KEY przed uruchomieniem przykładu.

Czy dać agentowi wszystkie 25 narzędzi?

Zwykle nie. Wszystkie schematy narzędzi są wysyłane przy każdym wywołaniu modelu. Zachowaj spicrawl_scrape, a dla wielu adresów URL spicrawl_batch_submit, spicrawl_batch_status i spicrawl_batch_results.

Czy każde wywołanie narzędzia otwiera nową sesję?

Tak, domyślnie. To w porządku dla spicrawl_scrape, który jest bezstanowy. Zobacz README adaptera dla client.session("spicrawl"), jeśli chcesz jedną sesję na uruchomienie.

Czy używać MCP, czy wywoływać API bezpośrednio?

Użyj MCP, gdy model decyduje, co pobrać. Gdy Twój kod już zna adres URL, zwykła funkcja wywołująca POST /v1/scrape jest prostsza i nie kosztuje tokenów schematów narzędzi.

Ile kosztuje każda strona?

Zwykłe pobranie kosztuje 1 kredyt, renderowanie JavaScriptu 3, a renderowanie w pełnej przeglądarce 8. Nieudane żądania kosztują 0. Trafienie w cache kosztuje tyle samo, co pobranie, które je zapisało. Poproś agenta, aby ustawiał max_cost w każdym żądaniu, tak by nigdy nie wydał więcej, niż się spodziewasz.