Spicrawl は、OpenAI Agents SDK、LangChain、Codex、Claude Code などに対応しました。連携を見る
コンテンツへスキップ

ライブな世界のデータ: エージェント

エージェントやシステムのために世界のデータを解き放ち、より良い製品を作りましょう。

サインアップ(ベータ期間中は無料)
試してみる:

無料でお試しください: あらゆる公開ページをクリーンな Markdown に、サインアップ不要。

Spicrawl ウェブスクレイピング API でできることすべて

Markdown と JSON の出力、JavaScript レンダリング、Cloudflare とボット対策の処理、ブラウザアクション、セッション、最大 10,000 件の URL のバッチジョブ、構造化抽出、ネットワークキャプチャ、スクリーンショットと PDF、キャッシュ。いずれも同じ API のパラメータで、CLI と MCP サーバーからも利用できます。

3/3提供され、そのティアで課金

通常、JavaScript、またはフルブラウザ

  • ティアごとに 1、3、または 8 クレジット。mode: auto は安く始め、必要なときだけ上がります。
  • 対応したティアの分だけ支払います。失敗は 0 です。
  • js_render
  • mode
  • wait_for
render.sh
curl https://api.spicrawl.com/v1/scrape \  -H "Authorization: Bearer spicrawl_live_…" \  -H "Content-Type: application/json" \  -d '{    "url": "https://example.com/products",    "js_render": true,    "wait_for": ".product-card",    "response_format": "json"  }'

spicrawl scrape <url> --render

ガイドを読む

API ドキュメントを見る

今スクレイプしているページで試す

API キー一つ、毎月 1,000 クレジット無料、クレジットカード不要。

Up to 97% fewer tokens than raw HTML

Menus, scripts and ads are stripped before the page reaches your model, so the same facts take a fraction of the context. Raw HTML on the left, Spicrawl Markdown on the right.

Spicrawl ドキュメントのページ
−97%トークン
GitHub の README
−94%トークン
Wikipedia の記事
−76%トークン
測定方法を見る

ご自身の URL で節約量を測定する

同じページを両方の方法で実行して、トークン数を比較してください。

Two ways in: ask your agent, or call the API

Describe the page in plain words, or send one POST request. Both return the same clean output.

  1. AI に頼むだけ

    一度接続すれば、あとは普通の言葉で頼むだけ。コードを書く必要はありません。

    Claude Code でセットアップ
  2. API を呼び出す

    POST 一つで Markdown、JSON、HTML が返ります。最大 10,000 件の URL をバッチ処理できます。

    API ドキュメントを読む

Spicrawl MCP で AI エージェントを接続

ホスト型 MCP サーバー。スクレイプ、バッチ、セッション、ブラウザアクションを、つなぎのコードなしで使えます。

MCP エンドポイント: https://mcp.spicrawl.com/mcp

  • スクレイプ
  • バッチジョブ
  • セッション
  • アクション
  • リクエスト履歴
  • 使用量
  • ドキュメント
Claude Code がページをスクレイプする

あなたは AI エージェントですか?

スキルを取得して、スクレイピングを始めましょう。

$curl -s https://docs.spicrawl.com/skill.md

スキルを見る llms.txt

すでに使っているツールと連携

プロンプト一つでエージェントにウェブを渡す

Claude Code、Cursor、Codex、任意の MCP クライアントで動作します。

Get Markdown, JSON or structured data from one request

Pick the format your next step needs: Markdown for a prompt, JSON for your app, a screenshot or PDF for a record.

example.com/product/1
Model X のご紹介 — クリックのたびに精度を
ワイヤレスマウス — Model X
ワイヤレスマウス — Model X
$49.00在庫あり★ 4.6 (1,284)
低遅延の 2.4 GHz レシーバー、70 日間持続するバッテリー、静音スイッチ。
仕様値
接続2.4 GHz, BT5バッテリー70 日
<script type="application/ld+json">
result.md
# ワイヤレスマウス — Model X**$49.00** · 在庫あり · 4.6(1,284 件のレビュー)Low-latency 2.4 GHz レシーバー、バッテリー駆動 70-day。そしてサイレントスイッチ。| Spec      | Value        || --------- | ------------ || 接続| 2.4 GHz, BT5 || バッテリー | 70 日 |
ページの読み取り
生の HTML12,480 トークン
Markdown0 トークン

メニュー、フッター、広告を除去: 元の HTML のトークンの 3% から 24%。サンプルページ。

あらゆるウェブサイトを LLM 向けに Markdown へ変換

Scrape JavaScript sites, logins and dynamic pages

Start with a plain fetch. Spicrawl moves up to a real browser only when the page needs one. Keep a session to stay logged in, or bring your own proxy.

Spicrawl コントロールパネル
自動エスカレーション
ブラウザ
フィンガープリント
プロキシ
マネージドプロキシ: 近日公開
セッション
アクション
アセットをブロック
ネットワークキャプチャ
キャッシュ
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "mode": "auto",  "cache": true,  "response_format": "markdown"}
レスポンスヘッダーの例
X-Target-Status
200
X-Engine
fetch
X-Proxy-Source
direct
Cache-State
ヒット
X-Credits-Charged
1
自動エスカレーション

通常のリクエストから始め、サイトにブロックされた場合にのみブラウザに切り替えます。ブロックされたリクエストは無料です。

例のみで、実際のリクエストではありません。ベータは無料です。

Test in the dashboard, then ship with the API or CLI

Try a URL, copy the request, and run it from your code or your terminal.

CLI

ターミナルから、URL を一つスクレイプ、数千件をバッチ処理、セッションを管理できます。

CLI ドキュメントを読む

ダッシュボード

テストリクエストの実行、ログと使用量の確認、API キーの管理ができます。

ダッシュボードを開く

ドキュメント

ガイド、API リファレンス、ツール向けの OpenAPI 仕様。

ドキュメントを読む

Try what people build with Spicrawl

Small working tools, each built on the Spicrawl API.

  1. change-monitor.spicrawl.com

    変更モニター

    ページを再確認して、変更点を確認します。

    ライブで試す
  2. price-tracker.spicrawl.com

    価格トラッカー

    商品リンクを貼り付けると、価格が得られます。

    ライブで試す
  3. docs2skill.spicrawl.com

    ドキュメント → スキル

    ドキュメントサイトをエージェントスキルに変換します。

    ライブで試す

What you can build with a web scraping API

Each job links to a guide in the docs, with working code.

  1. 01

    LLM と RAG パイプラインに渡す

    記事、ドキュメント、PDF を、埋め込みにそのまま使えるクリーンな Markdown に変換します。

    LLM 向け Markdown
  2. 02

    AI エージェントにウェブアクセスを与える

    Claude Code、Cursor、Codex を接続して、ライブのページを読み取ります。

    エージェントで作る
  3. 03

    商品と価格のデータを収集する

    名前、価格、在庫を JSON に取り出します。

    構造化データを抽出
  4. 04

    数千件の URL をスクレイプする

    1 回のバッチジョブで最大 10,000 件の URL を送信できます。

    バッチジョブを実行
  5. 05

    ログインが必要なページを読み取る

    一度ログインして、すべてのページでセッションを再利用します。

    セッションを使う
  6. 06

    ページの背後にあるデータをキャプチャ

    HTML を解析する代わりに、ページが読み込む JSON を読み取ります。

    ネットワーク呼び出しをキャプチャ

ページごとの従量課金、動いたときだけ

毎月 1,000 クレジットが無料で、クレジットカードは不要です。失敗したリクエスト、ボットチャレンジ、タイムアウトは無料です。ベータ期間中は無料。

1クレジット / ページ
通常のフェッチ
静的なページ。デフォルトです。
3クレジット / ページ
JavaScript レンダリング
ブラウザ内で自ら組み上がるページ。
8クレジット / ページ
フルブラウザ
スクリーンショット、PDF、クリック、フォーム。

毎月 1,000 クレジット無料 は、毎月 1,000 通常ページ、333 JavaScript ページ、または 125 フルブラウザページに相当します。

よくある質問

Spicrawl とは?

Spicrawl は、API、CLI、MCP サーバーを通じて、あらゆる URL を、コードや AI エージェント向けのクリーンな Markdown、HTML、PDF、構造化 JSON に変換するウェブスクレイピング API です。

Spicrawl は無料ですか?

はい。ベータ期間中は無料で、毎月 1,000 クレジットが付き、クレジットカードは不要です。

JavaScript のウェブサイトをスクレイプできますか?

Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.

Spicrawl は Cloudflare のようなボット対策を突破できますか?

多くの場合はそうですが、常にではありません。実際のブラウザのフィンガープリント、ブラウザレンダリング、またはご自身のプロキシを使ってください。ボットチャレンジは明確なエラーを返し、無料です。ステルスモードとマネージドプロキシはベータにはありません。

Spicrawl を AI エージェントと使えますか?

はい。ホスト型 MCP サーバーにより、Claude Code、Cursor、Codex がページのスクレイプ、バッチの実行、セッションの再利用、ブラウザアクションの実行をできます。セットアップには spicrawl init を実行してください。

失敗したリクエストにクレジットはかかりますか?

いいえ。成功したリクエストだけがクレジットを使います。通常は 1、JavaScript レンダリングは 3、フルブラウザは 8 です。エラー、ボットチャレンジ、タイムアウトは無料です。

すべての質問