Spicrawl は、OpenAI Agents SDK、LangChain、Codex、Claude Code などに対応しました。連携を見る
コンテンツへスキップ

ウェブページの背後にある API 呼び出しをキャプチャ

多くのページは API からデータを読み込みます。その呼び出しをキャプチャして、JSON を直接読み取れます。

仕組み

  1. ページをレンダリングします。 キャプチャはブラウザでのみ実行されるため、js_render: true を設定してください。
  2. 呼び出しを選びます。 network_capture を urls のパターンのリストに設定します。例: /api/search。
  3. 本文を読み取ります。 一致した各呼び出しは、ステータス、種類、ボディとともに network 配列に入って返ります。
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/search?q=desk",
    "js_render": true,
    "network_capture": { "urls": ["/api/search"] }
  }'

キーは SPICRAWL_API_KEY に保管してください。

返ってくるもの

ドキュメントにあるレスポンスの抜粋です。ページの内容は例です。

{
  "status": 200,
  "credits": 3,
  "network": [
    {
      "url": "https://example.com/api/search?q=desk&page=1",
      "status": 200,
      "resource_type": "fetch",
      "content_type": "application/json",
      "body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
    }
  ]
}

使うとき

  • ページが API から自らを埋めます。 JSON は、そこから描画されるマークアップよりも、通常はきれいで安定しています。
  • 検索、掲載、フィード。 結果は、まるごと読める 1 回の JSON 呼び出しで読み込まれることがよくあります。
  • そうでなければ、 構造化抽出 を CSS セレクターや JSON Schema と併用してください。

知っておくべきこと

  • js_render が必要です。 JavaScript レンダリングの 3 クレジットに上乗せはありません。失敗したリクエストは 0 クレジットです。
  • ご配慮ください。 利用が認められているデータのみを取得し、サイトの利用規約に従ってください。
  • 料金: ベータ期間中は無料で、毎月 1,000 クレジットです。

よくある質問

ネットワークキャプチャは何をしますか?

ページが読み込み中に行うネットワーク呼び出しを記録し、指定したものをレスポンス本文も含めて返します。これにより、ページが描画に使う HTML を解析する代わりに、ページ自身が使う JSON を読み取れます。

キャプチャする呼び出しを選ぶにはどうすればいいですか?

Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.

JavaScript レンダリングは必要ですか?

はい。キャプチャは、ページがブラウザでレンダリングされた場合にのみ機能するため、js_render を true に設定してください。

ネットワークキャプチャは追加料金がかかりますか?

いいえ。すでに支払っている JavaScript レンダリングの 3 クレジットに、追加のクレジットはかかりません。失敗したリクエストは 0 クレジットです。

HTML をスクレイピングする代わりに、これを使うべきですか?

ページが JSON API から自らを埋める場合、その JSON を読み取るほうが、マークアップを解析するよりも通常はクリーンで安定しています。サイトの利用規約を尊重し、利用が許可されているデータだけを取得してください。