Spicrawl を使った LangChain のウェブスクレイピング
LangChain のエージェントを Spicrawl MCP サーバーに接続します。エージェントはウェブページを Markdown として読めるようになります。
セットアップする
langchain-mcp-adaptersとlangchain[openai]をインストールします。SPICRAWL_API_KEYと、モデルプロバイダーのキー(ここではOPENAI_API_KEY)を設定します。spicrawlエントリを 1 つ持つMultiServerMCPClientを作成します。"transport": "streamable_http"とheadersで接続を設定します。必要なツールだけを残し、
create_agentで LangGraph エージェントを作ります。
例: 料金ページを読む
import asyncio
import os
from langchain.agents import create_agent
from langchain_mcp_adapters.client import MultiServerMCPClient
async def main() -> None:
client = MultiServerMCPClient(
{
"spicrawl": {
"transport": "streamable_http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
}
}
)
keep = {"spicrawl_scrape", "spicrawl_batch_submit"}
tools = [t for t in await client.get_tools() if t.name in keep]
agent = create_agent("openai:gpt-4.1", tools)
result = await agent.ainvoke(
{"messages": "Read https://example.com/pricing as markdown and list the plans."}
)
print(result["messages"][-1].content)
asyncio.run(main())デフォルトでは、ツール呼び出しごとに独自の MCP セッションが開きます。ステートレスな spicrawl_scrape では問題ありません。サーバーに OAuth はないため、キーは必ず headers で送ってください。
ツールの一覧を短く保つ
25 個のツールスキーマすべてが、モデル呼び出しのたびに送られます。そのためプロンプトのコストが上がり、モデルが混乱することがあります。spicrawl_scrape を残し、多数の URL には spicrawl_batch_submit、spicrawl_batch_status、spicrawl_batch_results を追加してください。
コードがすでにどの URL を取得するか分かっているなら、MCP はまったく不要かもしれません。POST /v1/scrape を呼び出す単純な関数なら、ツールスキーマのトークンがかからず、テストもしやすくなります。
できること
このサーバーは、エージェントに spicrawl_* ツールを 25 個提供します。各呼び出しはお客様の API キーのもとで実行され、API の直接呼び出しと同じ制限とクレジットが適用されます。
- ページを一つ読み取る:
spicrawl_scrapeは Markdown(デフォルト)、テキスト、HTML、JSON、PDF を返します。 - 多数のページを読み取る:
spicrawl_batch_submitは最大 10,000 件の URL をキューに入れます。続けてspicrawl_batch_statusとspicrawl_batch_resultsを使います。 - ログインが必要なページ:
spicrawl_session_createは、呼び出しをまたいで Cookie とストレージを保持します。 - 失敗をデバッグする:
spicrawl_requests_listとspicrawl_request_get。 - 使用量を確認:
spicrawl_usage_summaryとその他の使用量ツール。これらにはreadスコープを持つキーが必要です。 - 調べる:
spicrawl_docs_searchとspicrawl_docs_readで Spicrawl のドキュメントを検索して読めます。
ツール spicrawl_browser_connect_url は一覧にありますが、近日公開です。spicrawl_scrape では、レンダリングの引数は API の js_render ではなく render です。
知っておくべきこと
- クロールはありません。 Spicrawl はリンクをたどったり、ページを探したりしません。エージェントに URL を渡してください。
- リクエストごとのクレジット。 通常のフェッチは 1 クレジット、JavaScript レンダリングは 3、フルブラウザレンダリングは 8 です。
- 失敗は無料です。 失敗したリクエストは 0 クレジットです。
- キャッシュで節約できるのは時間であり、クレジットではありません。 キャッシュヒットの料金は、それを保存したフェッチと同じです。
- 呼び出しごとに上限を設けてください。
max_costを設定すると、より高くなる可能性のあるリクエストは実行前に拒否されます。 - 近日公開: マネージドプロキシ、ステルスモード、リモートブラウザ、自然な言葉で書いたプロンプトからの AI 抽出。現時点では、ご自身のプロキシを使えます。
よくある質問
どのパッケージが必要ですか?
langchain-mcp-adapters と langchain[openai]。例を実行する前に、SPICRAWL_API_KEY と OPENAI_API_KEY を設定してください。
エージェントに 25 個すべてのツールを与えるべきですか?
通常は不要です。すべてのツールスキーマが、モデルの呼び出しごとに送られます。spicrawl_scrape を残し、多数の URL には spicrawl_batch_submit、spicrawl_batch_status、spicrawl_batch_results も残してください。
ツール呼び出しのたびに新しいセッションが開かれますか?
はい、デフォルトで。ステートレスな spicrawl_scrape なら問題ありません。実行ごとにセッションを一つ使いたい場合は、アダプターの README にある client.session("spicrawl") を参照してください。
MCP を使うべきですか、それとも API を直接呼び出すべきですか?
モデルが何を取得するかを決める場合は MCP を使ってください。コードがすでに URL を知っている場合は、POST /v1/scrape を呼び出す単純な関数のほうがシンプルで、ツールスキーマのトークンもかかりません。
1 ページの料金はいくらですか?
通常のフェッチは 1 クレジット、JavaScript レンダリングは 3、フルブラウザレンダリングは 8 です。失敗したリクエストは 0 クレジットです。キャッシュヒットは、それを保存したフェッチと同じ料金です。エージェントに各リクエストで max_cost を設定するよう指示すれば、想定以上の出費を防げます。