ウェブページの背後にある API 呼び出しをキャプチャ
多くのページは API からデータを読み込みます。その呼び出しをキャプチャして、JSON を直接読み取れます。
仕組み
- ページをレンダリングします。 キャプチャはブラウザでのみ実行されるため、
js_render: trueを設定してください。 - 呼び出しを選びます。
network_captureをurlsのパターンのリストに設定します。例:/api/search。 - 本文を読み取ります。 一致した各呼び出しは、ステータス、種類、ボディとともに
network配列に入って返ります。
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/search?q=desk",
"js_render": true,
"network_capture": { "urls": ["/api/search"] }
}'spicrawl scrape "https://example.com/search?q=desk" --render \
--network-capture '{"urls":["/api/search"]}'キーは SPICRAWL_API_KEY に保管してください。
返ってくるもの
ドキュメントにあるレスポンスの抜粋です。ページの内容は例です。
{
"status": 200,
"credits": 3,
"network": [
{
"url": "https://example.com/api/search?q=desk&page=1",
"status": 200,
"resource_type": "fetch",
"content_type": "application/json",
"body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
}
]
}使うとき
- ページが API から自らを埋めます。 JSON は、そこから描画されるマークアップよりも、通常はきれいで安定しています。
- 検索、掲載、フィード。 結果は、まるごと読める 1 回の JSON 呼び出しで読み込まれることがよくあります。
- そうでなければ、 構造化抽出 を CSS セレクターや JSON Schema と併用してください。
知っておくべきこと
js_renderが必要です。 JavaScript レンダリングの 3 クレジットに上乗せはありません。失敗したリクエストは 0 クレジットです。- ご配慮ください。 利用が認められているデータのみを取得し、サイトの利用規約に従ってください。
- 料金: ベータ期間中は無料で、毎月 1,000 クレジットです。
よくある質問
ネットワークキャプチャは何をしますか?
ページが読み込み中に行うネットワーク呼び出しを記録し、指定したものをレスポンス本文も含めて返します。これにより、ページが描画に使う HTML を解析する代わりに、ページ自身が使う JSON を読み取れます。
キャプチャする呼び出しを選ぶにはどうすればいいですか?
Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.
JavaScript レンダリングは必要ですか?
はい。キャプチャは、ページがブラウザでレンダリングされた場合にのみ機能するため、js_render を true に設定してください。
ネットワークキャプチャは追加料金がかかりますか?
いいえ。すでに支払っている JavaScript レンダリングの 3 クレジットに、追加のクレジットはかかりません。失敗したリクエストは 0 クレジットです。
HTML をスクレイピングする代わりに、これを使うべきですか?
ページが JSON API から自らを埋める場合、その JSON を読み取るほうが、マークアップを解析するよりも通常はクリーンで安定しています。サイトの利用規約を尊重し、利用が許可されているデータだけを取得してください。