Spicrawl は、OpenAI Agents SDK、LangChain、Codex、Claude Code などに対応しました。連携を見る
コンテンツへスキップ

Spicrawl を使った LangChain のウェブスクレイピング

LangChain のエージェントを Spicrawl MCP サーバーに接続します。エージェントはウェブページを Markdown として読めるようになります。

セットアップする

  1. langchain-mcp-adapters と langchain[openai] をインストールします。

  2. SPICRAWL_API_KEY と、モデルプロバイダーのキー(ここでは OPENAI_API_KEY)を設定します。

  3. spicrawl エントリを 1 つ持つ MultiServerMCPClient を作成します。"transport": "streamable_http" と headers で接続を設定します。

  4. 必要なツールだけを残し、create_agent で LangGraph エージェントを作ります。

例: 料金ページを読む

langchain_example.py
import asyncio
import os

from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient


async def main() -> None:
    client = MultiServerMCPClient(
        {
            "spicrawl": {
                "transport": "streamable_http",
                "url": "https://mcp.spicrawl.com/mcp",
                "headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
            }
        }
    )
    keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
    tools = [t for t in await client.get_tools() if t.name in keep]

    agent = create_agent("openai:gpt-4.1", tools)
    result = await agent.ainvoke(
        {"messages": "Read https://example.com/pricing as markdown and list the plans."}
    )
    print(result["messages"][-1].content)


asyncio.run(main())

デフォルトでは、ツール呼び出しごとに独自の MCP セッションが開きます。ステートレスな spicrawl_scrape では問題ありません。サーバーに OAuth はないため、キーは必ず headers で送ってください。

ツールの一覧を短く保つ

25 個のツールスキーマすべてが、モデル呼び出しのたびに送られます。そのためプロンプトのコストが上がり、モデルが混乱することがあります。spicrawl_scrape を残し、多数の URL には spicrawl_batch_submit、spicrawl_batch_status、spicrawl_batch_results を追加してください。

コードがすでにどの URL を取得するか分かっているなら、MCP はまったく不要かもしれません。POST /v1/scrape を呼び出す単純な関数なら、ツールスキーマのトークンがかからず、テストもしやすくなります。

できること

このサーバーは、エージェントに spicrawl_* ツールを 25 個提供します。各呼び出しはお客様の API キーのもとで実行され、API の直接呼び出しと同じ制限とクレジットが適用されます。

  • ページを一つ読み取る: spicrawl_scrape は Markdown(デフォルト)、テキスト、HTML、JSON、PDF を返します。
  • 多数のページを読み取る: spicrawl_batch_submit は最大 10,000 件の URL をキューに入れます。続けて spicrawl_batch_status と spicrawl_batch_results を使います。
  • ログインが必要なページ: spicrawl_session_create は、呼び出しをまたいで Cookie とストレージを保持します。
  • 失敗をデバッグする: spicrawl_requests_list と spicrawl_request_get。
  • 使用量を確認: spicrawl_usage_summary とその他の使用量ツール。これらには read スコープを持つキーが必要です。
  • 調べる: spicrawl_docs_search と spicrawl_docs_read で Spicrawl のドキュメントを検索して読めます。

ツール spicrawl_browser_connect_url は一覧にありますが、近日公開です。spicrawl_scrape では、レンダリングの引数は API の js_render ではなく render です。

知っておくべきこと

  • クロールはありません。 Spicrawl はリンクをたどったり、ページを探したりしません。エージェントに URL を渡してください。
  • リクエストごとのクレジット。 通常のフェッチは 1 クレジット、JavaScript レンダリングは 3、フルブラウザレンダリングは 8 です。
  • 失敗は無料です。 失敗したリクエストは 0 クレジットです。
  • キャッシュで節約できるのは時間であり、クレジットではありません。 キャッシュヒットの料金は、それを保存したフェッチと同じです。
  • 呼び出しごとに上限を設けてください。 max_cost を設定すると、より高くなる可能性のあるリクエストは実行前に拒否されます。
  • 近日公開: マネージドプロキシ、ステルスモード、リモートブラウザ、自然な言葉で書いたプロンプトからの AI 抽出。現時点では、ご自身のプロキシを使えます。

よくある質問

どのパッケージが必要ですか?

langchain-mcp-adapters と langchain[openai]。例を実行する前に、SPICRAWL_API_KEY と OPENAI_API_KEY を設定してください。

エージェントに 25 個すべてのツールを与えるべきですか?

通常は不要です。すべてのツールスキーマが、モデルの呼び出しごとに送られます。spicrawl_scrape を残し、多数の URL には spicrawl_batch_submit、spicrawl_batch_status、spicrawl_batch_results も残してください。

ツール呼び出しのたびに新しいセッションが開かれますか?

はい、デフォルトで。ステートレスな spicrawl_scrape なら問題ありません。実行ごとにセッションを一つ使いたい場合は、アダプターの README にある client.session("spicrawl") を参照してください。

MCP を使うべきですか、それとも API を直接呼び出すべきですか?

モデルが何を取得するかを決める場合は MCP を使ってください。コードがすでに URL を知っている場合は、POST /v1/scrape を呼び出す単純な関数のほうがシンプルで、ツールスキーマのトークンもかかりません。

1 ページの料金はいくらですか?

通常のフェッチは 1 クレジット、JavaScript レンダリングは 3、フルブラウザレンダリングは 8 です。失敗したリクエストは 0 クレジットです。キャッシュヒットは、それを保存したフェッチと同じ料金です。エージェントに各リクエストで max_cost を設定するよう指示すれば、想定以上の出費を防げます。