AI エージェント向けのホスト型ウェブスクレイピング MCP サーバー
エージェントを https://mcp.spicrawl.com/mcp に接続すれば、スクレイピングのコードを書かなくても、あらゆる URL を Markdown または JSON で読み取り、バッチジョブを実行し、ログイン済みセッションを再利用し、自身の使用量を確認できます。
Spicrawl MCP サーバーでできること
このサーバーは、AI エージェントに Spicrawl をネイティブツールとして提供します。https://mcp.spicrawl.com/mcp でホストされ、MCP Streamable HTTP に対応し、ご自身の API キーを Bearer トークンとして認証に使います。すべてのツール呼び出しは、API を直接呼び出した場合とまったく同じ、そのキーのもとで同じ制限と同じクレジットで実行されます。
コマンド一つでセットアップ
Spicrawl CLI は、MCP サーバーと Spicrawl エージェントスキルをクライアントに追加し、適用する前に変更内容を表示します:
npm install -g @spicrawl/cli
spicrawl init --client claude # or: --client cursor, --client codexまたは手動で追加します。キーは環境変数 SPICRAWL_API_KEY に保管し、設定から参照すると、コミットするファイルにキーが残りません:
claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
--header "Authorization: Bearer $SPICRAWL_API_KEY"
# Or, for a team, commit .mcp.json (each person's own key is used):
{
"mcpServers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
}
}
}// .cursor/mcp.json (or ~/.cursor/mcp.json for every project)
{
"mcpServers": {
"spicrawl": {
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${env:SPICRAWL_API_KEY}" }
}
}
}// .vscode/mcp.json: VS Code asks for the key once and stores it securely
{
"inputs": [
{ "type": "promptString", "id": "spicrawl-api-key", "description": "Spicrawl API key", "password": true }
],
"servers": {
"spicrawl": {
"type": "http",
"url": "https://mcp.spicrawl.com/mcp",
"headers": { "Authorization": "Bearer ${input:spicrawl-api-key}" }
}
}
}codex mcp add spicrawl --url https://mcp.spicrawl.com/mcp --bearer-token-env-var SPICRAWL_API_KEY
# Equivalent ~/.codex/config.toml:
[mcp_servers.spicrawl]
url = "https://mcp.spicrawl.com/mcp"
bearer_token_env_var = "SPICRAWL_API_KEY"// claude_desktop_config.json: bridges to the hosted server with mcp-remote (needs Node.js)
{
"mcpServers": {
"spicrawl": {
"command": "npx",
"args": ["-y", "mcp-remote", "https://mcp.spicrawl.com/mcp", "--header", "Authorization:${SPICRAWL_AUTH}"],
"env": { "SPICRAWL_AUTH": "Bearer spicrawl_live_..." }
}
}
}claude mcp list、codex mcp list、またはクライアントの MCP 設定で接続を確認してください。spicrawl_* ツールが 25 個表示されるはずです。
用途別にまとめたツール
| ジョブ | ツール |
|---|---|
| ページを一つ読み取る | spicrawl_scrape: Markdown(デフォルト)、テキスト、HTML、JSON。レンダリング、タグフィルタ、抽出、ブラウザアクションを任意で指定できます |
| 多数の URL | spicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel |
| ログインが必要なページ | spicrawl_session_create, _list, _get, _context, _release, _delete |
| 失敗をデバッグする | spicrawl_requests_list, spicrawl_request_get |
| クレジットと使用量 | spicrawl_usage、_summary、_reconciliation(read スコープが必要) |
| 調べる | spicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index |
CDP 経由でリモートブラウザに接続するツールは一覧にありますが、近日公開です。
最初に試すタスク
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.エージェントは URL と format: "markdown" を指定して spicrawl_scrape を呼び出し、最初の結果が空の場合のみ render: true を追加します。詳しい手順は Claude Code でウェブサイトをスクレイプする方法 にあります。
エージェントを低コストで安全に保つ
- 最も安い順に。 通常のリクエストは 1 クレジット、JavaScript レンダリングは 3、フルブラウザレンダリングは 8 です。エージェントは 1 段階ずつ上げ、うまくいった最初の段階で止めてください。
- すべての呼び出しに上限を設けてください。
max_costを設定すると、より高くなるリクエストは実行前に拒否されます。 - 失敗は無料です。 エラーとブロックされたページは 0 クレジットです。
- 費用をかけずにテストできます。
spicrawl_test_キーはサンドボックスに対して実行され、本番のクレジットは消費されません。 - キーにできることを制限します。 キーにはデフォルトで
scrape、batch、sessionsスコープが付与されます。エージェントが使用量を見る必要がある場合にのみreadを付与してください。
できないこと
- クロールはありません。 Spicrawl はリンクをたどったり、URL を探したりしません。エージェントに URL かサイトマップのリストを渡し、多数のページにはバッチジョブを使ってください。
- 近日公開: マネージドプロキシ、ステルスモード、リモートブラウザ接続、自然な言葉で書いたプロンプトからの抽出。現時点では、ご自身のプロキシを追加料金なしで使え、CSS セレクターや JSON Schema でデータを抽出できます。
他のスクレイピング MCP サーバーとの比較
現在、ほとんどのスクレイピング API が MCP サーバーを提供しています。各社の内容は、各ベンダー自身のドキュメントを引用している当サイトの比較ページによるものです:
| プロバイダー | その MCP サーバー |
|---|---|
| Firecrawl | キーなしでも動作し、OAuth サインインまたは API キーで使えるホスト型 MCP サーバー。 |
| ZenRows | ホスト型 MCP サーバーと、Claude Code、Cursor、Codex 向けのスキルとプラグインのエージェントツールキット。 |
| Context.dev | API キーの代わりに OAuth でサインインするホスト型 MCP サーバーと、エージェントスキル。 |
| ScrapingBee | ページ、テキスト、スクリーンショット、検索結果、使用量を取得するツールを備えたホスト型 MCP サーバー。 |
| Bright Data | MIT ライセンスの MCP サーバー。ホスト型でも、ローカルでも実行できます。無料のデフォルトモードはページを Markdown でスクレイプし、ウェブ検索ができ、Pro モードで 60 以上のツールが加わります。 |
| Jina Reader | URL の読み取り、スクリーンショット、検索のツールを備えたホスト型 MCP サーバー。読み取りはキーなしで動作します。 |
| Apify | エージェントが既製のスクレイパー(Actor)を見つけて実行できる公式 MCP サーバー。 |
| Browserbase | Stagehand をベースに、普通の言葉のコマンドでクラウドブラウザを操作するホスト型 MCP サーバー。 |
エージェントが主に URL をすでに知っているページを読み、クリーンな Markdown、ログインが必要なページ向けのセッション、無料で済む失敗を求めるなら、Spicrawl のサーバーを選んでください。エージェントがまずページを探す必要があるなら、クロールや検索ができるものを選んでください。
よくある質問
ウェブスクレイピング MCP サーバーとは何ですか?
AI エージェントにウェブページを取得するツールを与える Model Context Protocol サーバーです。HTTP のコードを書く代わりに、エージェントは spicrawl_scrape などのツールを URL とともに呼び出し、ページを Markdown、テキスト、HTML、JSON で受け取ります。
どの AI エージェントとエディタで動作しますか?
Streamable HTTP でリモートサーバーに接続でき、Authorization ヘッダーを送れるあらゆる MCP クライアント。Claude Code、Cursor、VS Code、Codex CLI を含みます。Claude Desktop は mcp-remote ブリッジ経由で接続できます。
Spicrawl MCP サーバーは無料ですか?
Spicrawl はベータ期間中無料で、クレジットカードは不要です。ツール呼び出しは API と同じクレジットを使います。通常のリクエストは 1、JavaScript レンダリングは 3、フルブラウザレンダリングは 8 です。失敗したリクエストとブロックされたリクエストは 0 です。
MCP サーバーはウェブサイト全体をクロールできますか?
いいえ。Spicrawl は URL を見つけたり、リンクをたどったりしません。ほしい URL、またはサイトマップのリストをエージェントに渡し、多数のページにはバッチジョブを使ってください。
API キーを安全に保つにはどうすればいいですか?
Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.
ログインが必要なページでも動作しますか?
はい、ご自身が所有する、または使用が認められているアカウントなら可能です。spicrawl_session_create でセッションを作成し、ブラウザアクションでログインして、以降のスクレイプにセッション ID を渡すと、Cookie とブラウザストレージが引き継がれます。