JavaScript ウェブサイトをスクレイプする
JavaScript が必要な URL を送ると、クリーンな Markdown または JSON でページが返ります。
{ "url": "https://shop.example/product/1", "js_render": true, "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- ヒット
- X-Credits-Charged
- 3
通常のリクエストから始め、サイトにブロックされた場合にのみブラウザに切り替えます。ブロックされたリクエストは無料です。
ページを読み取る前に、実際のブラウザで JavaScript をレンダリングします。
通常のリクエストには、実際のブラウザの TLS と HTTP/2 のフィンガープリントが付きます。
直接接続またはご自身のプロキシ。追加料金はありません。
リクエスト間で Cookie とストレージを保持するため、ログインが引き継がれます。
ページを読み取る前に、クリック、入力、スクロール、JavaScript の実行ができます。
画像、フォント、メディアをスキップして、読み込みを高速化します。
ページが読み込み中に行う API 呼び出しを記録します。
デフォルトで 48 時間有効です。繰り返しは速くなり、課金は同じです。
必要な形式でレンダリングされたページ
ページの内容が Markdown、JSON、HTML になる様子を確認できます。これらの例は出力を示すもので、実際のリクエストではありません。


# ワイヤレスマウス — Model X**$49.00** · 在庫あり · 4.6(1,284 件のレビュー)Low-latency 2.4 GHz レシーバー、バッテリー駆動 70-day。そしてサイレントスイッチ。| Spec | Value || --------- | ------------ || 接続| 2.4 GHz, BT5 || バッテリー | 70 日 |メニュー、フッター、広告を除去: 元の HTML のトークンの 3% から 24%。サンプルページ。
完全な応答: ステータス、URL、エンジン、データ。サンプルページ。
ページ情報、CSS ルール、セレクター付きの JSON Schema。サンプルページ。
ページ上で実行するステップ(フルブラウザレンダリング)。
仕組み
- ページの URL を送る
POST /v1/scrapeにjs_render: trueを付けて送ります。 - コンテンツを待ちます。
wait_forを CSS セレクターに設定します。例:.price。 - レンダリング済みのページを取得する 選んだ形式で受け取ります。以下の例では Markdown を返します。
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "js_render": True, "wait_for": ".price", "response_format": "markdown"},
timeout=180,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", js_render: true, wait_for: ".price", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --render --wait-for .price --format markdown --metaキーは SPICRAWL_API_KEY に保管してください。ブラウザのコードやコミットするファイルには決して入れないでください。
JavaScript をレンダリングするとき
通常のリクエストは、スクリプトを実行せずに HTML をダウンロードします。結果が空のシェルや「Loading…」のメッセージなら、そのページには JavaScript が必要かもしれません。js_render: true を設定すると、読み取る前にブラウザで実行します。
HTML にすでにあるコンテンツには、通常のリクエストを使います。ブラウザアクション、リソースブロック、ネットワークキャプチャにもレンダリングが必要です。
適切なコンテンツを待つ
| オプション | できること |
|---|---|
wait_for | キャプチャの前に、CSS セレクタが現れるまで待機します。 |
wait_for_timeout | 待機の上限を 0 から 120,000 ms で設定します。wait_for が必要です。0 を指定するとデフォルトを使います。 |
wait | 読み込み後に 0 から 30,000 ms の固定の待機を追加します。可能ならセレクタを使うほうをおすすめします。 |
block_resources | スキップするアセットを選びます。画像とフォントはデフォルトでブロックされますが、アクションとキャプチャは例外です。 |
response_format | ページコンテンツの形式として Markdown、JSON、HTML から選びます。 |
明示的なリソースリストは、デフォルトを置き換えます。何もブロックしない場合は ["none"] を使います。ページがコンテンツの構築にスクリプトを必要とする場合は、スクリプトをブロックしないでください。
結果を確認する
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3X-Engine は、どのレンダリングティア(fetch、js、browser)で実行されたかを示します。X-Target-Status はサイトのステータスで、X-Credits-Charged は課金額を示します。
wait_for が一致しない場合、ページは X-Warning: RENDER_DEGRADED 付きでその時点の状態のまま返ることがあります。使う前にコンテンツと警告を確認してください。
レンダリング階層と料金
- ベータ期間中は無料。 クレジットで、各リクエストの料金がわかります。
- JavaScript レンダリング:
js_render: trueは成功したリクエスト 1 件につき 3 クレジットです。 - フルブラウザレンダリング: は 8 クレジットです。スクリーンショット、PDF、アクションがこれを使い、Spicrawl がリクエストを自動で振り分けます。通常のティアで処理できないデプロイでは、1 つ上のティアを使い、
X-Warning: ENGINE_SUBSTITUTEDを返すことがあります。max_costを設定すると、より高い料金を拒否できます。 - ティアは選べません。 リクエストに必要なものから Spicrawl が選び、処理したティアの分が課金されます。
- 失敗は 0 です。 待機とリソースブロックに追加料金はありません。
max_costを設定すると、リクエストの上限を設けられます。
知っておくべきこと
- レンダリングまたは auto モードを選びます。
mode: "auto"はjs_renderと併用できません。まず fetch で始め、前のステップがチャレンジに阻まれた場合にのみ、JavaScript レンダリング、さらにフルブラウザレンダリングへと段階的に進みます。 - ブラウザ用のフラグにはブラウザが必要です。
wait_for、アクション、リソースブロックをjs_renderなしで送ると、エラーが返ります。 - クロールはありません。 取得したい URL を送ってください。Spicrawl はページを探したり、リンクをたどったりしません。
- 近日公開: マネージドプロキシ、ステルスモード、リモートブラウザ、自然な言葉で書いたプロンプトからの抽出。
- あなたの責任: 利用する権利のあるページのみを取得してください。terms をお読みください。
よくある質問
JavaScript のウェブサイトをスクレイプするにはどうすればいいですか?
js_render を true に設定して、ページの URL を POST https://api.spicrawl.com/v1/scrape に送ります。Spicrawl がページを読み取る前に、ブラウザがスクリプトを実行します。response_format で Markdown、JSON、HTML を選びます。
コンテンツの読み込みを待つにはどうすればいいですか?
wait_for に .price などの CSS セレクタを設定します。タイムアウトには wait_for_timeout で最大 120000 ミリ秒まで設定できます。セレクタが一致しない場合、ページは X-Warning: RENDER_DEGRADED とともに、その時点の状態で返ることがあります。結果を使う前に、警告を確認してください。
JavaScript レンダリングの料金はいくらですか?
Spicrawl はベータ期間中は無料です。JavaScript レンダリングが成功すると 3 クレジット、フルブラウザレンダリングは 8 クレジットを使います。デプロイが JavaScript レンダリングを処理できない場合、js_render はフルブラウザレンダリングで処理され、その料金で課金されることがあります。失敗したリクエストは 0 クレジットです。X-Engine(fetch、js、browser)と X-Credits-Charged で、何が実行されたかを確認できます。
JavaScript レンダリングで auto モードを使えますか?
いいえ。mode: auto は js_render と組み合わせられません。auto モードは通常のリクエストから始め、結果が使えないときに JavaScript レンダリング、さらにフルブラウザレンダリングへと上がります。JavaScript が必要とわかっているページには、代わりに js_render: true を使ってください。
JavaScript のウェブサイトをクロールできますか?
いいえ。Spicrawl は URL を見つけたり、リンクをたどったりしません。読みたいページの URL を送ってください。利用する権利のあるページだけを取得してください。