Spicrawl は、OpenAI Agents SDK、LangChain、Codex、Claude Code などに対応しました。連携を見る
コンテンツへスキップ

AI エージェント向けのホスト型ウェブスクレイピング MCP サーバー

エージェントを https://mcp.spicrawl.com/mcp に接続すれば、スクレイピングのコードを書かなくても、あらゆる URL を Markdown または JSON で読み取り、バッチジョブを実行し、ログイン済みセッションを再利用し、自身の使用量を確認できます。

Spicrawl MCP サーバーでできること

このサーバーは、AI エージェントに Spicrawl をネイティブツールとして提供します。https://mcp.spicrawl.com/mcp でホストされ、MCP Streamable HTTP に対応し、ご自身の API キーを Bearer トークンとして認証に使います。すべてのツール呼び出しは、API を直接呼び出した場合とまったく同じ、そのキーのもとで同じ制限と同じクレジットで実行されます。

コマンド一つでセットアップ

Spicrawl CLI は、MCP サーバーと Spicrawl エージェントスキルをクライアントに追加し、適用する前に変更内容を表示します:

bash
npm install -g @spicrawl/cli
spicrawl init --client claude   # or: --client cursor, --client codex

または手動で追加します。キーは環境変数 SPICRAWL_API_KEY に保管し、設定から参照すると、コミットするファイルにキーが残りません:

claude mcp add --transport http spicrawl https://mcp.spicrawl.com/mcp \
  --header "Authorization: Bearer $SPICRAWL_API_KEY"

# Or, for a team, commit .mcp.json (each person's own key is used):
{
  "mcpServers": {
    "spicrawl": {
      "type": "http",
      "url": "https://mcp.spicrawl.com/mcp",
      "headers": { "Authorization": "Bearer ${SPICRAWL_API_KEY}" }
    }
  }
}

claude mcp list、codex mcp list、またはクライアントの MCP 設定で接続を確認してください。spicrawl_* ツールが 25 個表示されるはずです。

用途別にまとめたツール

ジョブツール
ページを一つ読み取るspicrawl_scrape: Markdown(デフォルト)、テキスト、HTML、JSON。レンダリング、タグフィルタ、抽出、ブラウザアクションを任意で指定できます
多数の URLspicrawl_batch_submit, _status, _list, _results, _task_content, _add_items, _close, _retry, _cancel
ログインが必要なページspicrawl_session_create, _list, _get, _context, _release, _delete
失敗をデバッグするspicrawl_requests_list, spicrawl_request_get
クレジットと使用量spicrawl_usage、_summary、_reconciliation(read スコープが必要)
調べるspicrawl_docs_search, spicrawl_docs_read, spicrawl_docs_index

CDP 経由でリモートブラウザに接続するツールは一覧にありますが、近日公開です。

最初に試すタスク

prompt
Use Spicrawl to read https://example.com/pricing as markdown.
List each plan with its monthly price. If the page comes back empty,
retry with rendering.

エージェントは URL と format: "markdown" を指定して spicrawl_scrape を呼び出し、最初の結果が空の場合のみ render: true を追加します。詳しい手順は Claude Code でウェブサイトをスクレイプする方法 にあります。

エージェントを低コストで安全に保つ

  • 最も安い順に。 通常のリクエストは 1 クレジット、JavaScript レンダリングは 3、フルブラウザレンダリングは 8 です。エージェントは 1 段階ずつ上げ、うまくいった最初の段階で止めてください。
  • すべての呼び出しに上限を設けてください。 max_cost を設定すると、より高くなるリクエストは実行前に拒否されます。
  • 失敗は無料です。 エラーとブロックされたページは 0 クレジットです。
  • 費用をかけずにテストできます。 spicrawl_test_ キーはサンドボックスに対して実行され、本番のクレジットは消費されません。
  • キーにできることを制限します。 キーにはデフォルトで scrape、batch、sessions スコープが付与されます。エージェントが使用量を見る必要がある場合にのみ read を付与してください。

できないこと

  • クロールはありません。 Spicrawl はリンクをたどったり、URL を探したりしません。エージェントに URL かサイトマップのリストを渡し、多数のページにはバッチジョブを使ってください。
  • 近日公開: マネージドプロキシ、ステルスモード、リモートブラウザ接続、自然な言葉で書いたプロンプトからの抽出。現時点では、ご自身のプロキシを追加料金なしで使え、CSS セレクターや JSON Schema でデータを抽出できます。

他のスクレイピング MCP サーバーとの比較

現在、ほとんどのスクレイピング API が MCP サーバーを提供しています。各社の内容は、各ベンダー自身のドキュメントを引用している当サイトの比較ページによるものです:

プロバイダーその MCP サーバー
Firecrawlキーなしでも動作し、OAuth サインインまたは API キーで使えるホスト型 MCP サーバー。
ZenRowsホスト型 MCP サーバーと、Claude Code、Cursor、Codex 向けのスキルとプラグインのエージェントツールキット。
Context.devAPI キーの代わりに OAuth でサインインするホスト型 MCP サーバーと、エージェントスキル。
ScrapingBeeページ、テキスト、スクリーンショット、検索結果、使用量を取得するツールを備えたホスト型 MCP サーバー。
Bright DataMIT ライセンスの MCP サーバー。ホスト型でも、ローカルでも実行できます。無料のデフォルトモードはページを Markdown でスクレイプし、ウェブ検索ができ、Pro モードで 60 以上のツールが加わります。
Jina ReaderURL の読み取り、スクリーンショット、検索のツールを備えたホスト型 MCP サーバー。読み取りはキーなしで動作します。
Apifyエージェントが既製のスクレイパー(Actor)を見つけて実行できる公式 MCP サーバー。
BrowserbaseStagehand をベースに、普通の言葉のコマンドでクラウドブラウザを操作するホスト型 MCP サーバー。

エージェントが主に URL をすでに知っているページを読み、クリーンな Markdown、ログインが必要なページ向けのセッション、無料で済む失敗を求めるなら、Spicrawl のサーバーを選んでください。エージェントがまずページを探す必要があるなら、クロールや検索ができるものを選んでください。

よくある質問

ウェブスクレイピング MCP サーバーとは何ですか?

AI エージェントにウェブページを取得するツールを与える Model Context Protocol サーバーです。HTTP のコードを書く代わりに、エージェントは spicrawl_scrape などのツールを URL とともに呼び出し、ページを Markdown、テキスト、HTML、JSON で受け取ります。

どの AI エージェントとエディタで動作しますか?

Streamable HTTP でリモートサーバーに接続でき、Authorization ヘッダーを送れるあらゆる MCP クライアント。Claude Code、Cursor、VS Code、Codex CLI を含みます。Claude Desktop は mcp-remote ブリッジ経由で接続できます。

Spicrawl MCP サーバーは無料ですか?

Spicrawl はベータ期間中無料で、クレジットカードは不要です。ツール呼び出しは API と同じクレジットを使います。通常のリクエストは 1、JavaScript レンダリングは 3、フルブラウザレンダリングは 8 です。失敗したリクエストとブロックされたリクエストは 0 です。

MCP サーバーはウェブサイト全体をクロールできますか?

いいえ。Spicrawl は URL を見つけたり、リンクをたどったりしません。ほしい URL、またはサイトマップのリストをエージェントに渡し、多数のページにはバッチジョブを使ってください。

API キーを安全に保つにはどうすればいいですか?

Keep the key in the SPICRAWL_API_KEY environment variable and reference it from your client configuration, for example ${SPICRAWL_API_KEY} in Claude Code’s .mcp.json or ${env:SPICRAWL_API_KEY} in Cursor. Never commit the key itself, and revoke it in the dashboard if it leaks.

ログインが必要なページでも動作しますか?

はい、ご自身が所有する、または使用が認められているアカウントなら可能です。spicrawl_session_create でセッションを作成し、ブラウザアクションでログインして、以降のスクレイプにセッション ID を渡すと、Cookie とブラウザストレージが引き継がれます。