Spicrawl は、OpenAI Agents SDK、LangChain、Codex、Claude Code などに対応しました。連携を見る
コンテンツへスキップ

JavaScript ウェブサイトをスクレイプする

JavaScript が必要な URL を送ると、クリーンな Markdown または JSON でページが返ります。

Spicrawl コントロールパネル
自動エスカレーション
ブラウザ
フィンガープリント
プロキシ
マネージドプロキシ: 近日公開
セッション
アクション
アセットをブロック
ネットワークキャプチャ
キャッシュ
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
レスポンスヘッダーの例
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
ヒット
X-Credits-Charged
3
ブラウザ

ページを読み取る前に、実際のブラウザで JavaScript をレンダリングします。

例のみで、実際のリクエストではありません。ベータは無料です。

必要な形式でレンダリングされたページ

ページの内容が Markdown、JSON、HTML になる様子を確認できます。これらの例は出力を示すもので、実際のリクエストではありません。

example.com/product/1
Model X のご紹介 — クリックのたびに精度を
ワイヤレスマウス — Model X
ワイヤレスマウス — Model X
$49.00在庫あり★ 4.6 (1,284)
低遅延の 2.4 GHz レシーバー、70 日間持続するバッテリー、静音スイッチ。
仕様値
接続2.4 GHz, BT5バッテリー70 日
<script type="application/ld+json">
result.md
# ワイヤレスマウス — Model X**$49.00** · 在庫あり · 4.6(1,284 件のレビュー)Low-latency 2.4 GHz レシーバー、バッテリー駆動 70-day。そしてサイレントスイッチ。| Spec      | Value        || --------- | ------------ || 接続| 2.4 GHz, BT5 || バッテリー | 70 日 |
ページの読み取り
生の HTML12,480 トークン
Markdown0 トークン

メニュー、フッター、広告を除去: 元の HTML のトークンの 3% から 24%。サンプルページ。

仕組み

  1. ページの URL を送る POST /v1/scrape に js_render: true を付けて送ります。
  2. コンテンツを待ちます。 wait_for を CSS セレクターに設定します。例: .price。
  3. レンダリング済みのページを取得する 選んだ形式で受け取ります。以下の例では Markdown を返します。
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

キーは SPICRAWL_API_KEY に保管してください。ブラウザのコードやコミットするファイルには決して入れないでください。

JavaScript をレンダリングするとき

通常のリクエストは、スクリプトを実行せずに HTML をダウンロードします。結果が空のシェルや「Loading…」のメッセージなら、そのページには JavaScript が必要かもしれません。js_render: true を設定すると、読み取る前にブラウザで実行します。

HTML にすでにあるコンテンツには、通常のリクエストを使います。ブラウザアクション、リソースブロック、ネットワークキャプチャにもレンダリングが必要です。

適切なコンテンツを待つ

オプションできること
wait_forキャプチャの前に、CSS セレクタが現れるまで待機します。
wait_for_timeout待機の上限を 0 から 120,000 ms で設定します。wait_for が必要です。0 を指定するとデフォルトを使います。
wait読み込み後に 0 から 30,000 ms の固定の待機を追加します。可能ならセレクタを使うほうをおすすめします。
block_resourcesスキップするアセットを選びます。画像とフォントはデフォルトでブロックされますが、アクションとキャプチャは例外です。
response_formatページコンテンツの形式として Markdown、JSON、HTML から選びます。

明示的なリソースリストは、デフォルトを置き換えます。何もブロックしない場合は ["none"] を使います。ページがコンテンツの構築にスクリプトを必要とする場合は、スクリプトをブロックしないでください。

結果を確認する

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine は、どのレンダリングティア(fetch、js、browser)で実行されたかを示します。X-Target-Status はサイトのステータスで、X-Credits-Charged は課金額を示します。

wait_for が一致しない場合、ページは X-Warning: RENDER_DEGRADED 付きでその時点の状態のまま返ることがあります。使う前にコンテンツと警告を確認してください。

レンダリング階層と料金

  • ベータ期間中は無料。 クレジットで、各リクエストの料金がわかります。
  • JavaScript レンダリング: js_render: true は成功したリクエスト 1 件につき 3 クレジットです。
  • フルブラウザレンダリング: は 8 クレジットです。スクリーンショット、PDF、アクションがこれを使い、Spicrawl がリクエストを自動で振り分けます。通常のティアで処理できないデプロイでは、1 つ上のティアを使い、X-Warning: ENGINE_SUBSTITUTED を返すことがあります。max_cost を設定すると、より高い料金を拒否できます。
  • ティアは選べません。 リクエストに必要なものから Spicrawl が選び、処理したティアの分が課金されます。
  • 失敗は 0 です。 待機とリソースブロックに追加料金はありません。max_cost を設定すると、リクエストの上限を設けられます。

知っておくべきこと

  • レンダリングまたは auto モードを選びます。 mode: "auto" は js_render と併用できません。まず fetch で始め、前のステップがチャレンジに阻まれた場合にのみ、JavaScript レンダリング、さらにフルブラウザレンダリングへと段階的に進みます。
  • ブラウザ用のフラグにはブラウザが必要です。 wait_for、アクション、リソースブロックを js_render なしで送ると、エラーが返ります。
  • クロールはありません。 取得したい URL を送ってください。Spicrawl はページを探したり、リンクをたどったりしません。
  • 近日公開: マネージドプロキシ、ステルスモード、リモートブラウザ、自然な言葉で書いたプロンプトからの抽出。
  • あなたの責任: 利用する権利のあるページのみを取得してください。terms をお読みください。

よくある質問

JavaScript のウェブサイトをスクレイプするにはどうすればいいですか?

js_render を true に設定して、ページの URL を POST https://api.spicrawl.com/v1/scrape に送ります。Spicrawl がページを読み取る前に、ブラウザがスクリプトを実行します。response_format で Markdown、JSON、HTML を選びます。

コンテンツの読み込みを待つにはどうすればいいですか?

wait_for に .price などの CSS セレクタを設定します。タイムアウトには wait_for_timeout で最大 120000 ミリ秒まで設定できます。セレクタが一致しない場合、ページは X-Warning: RENDER_DEGRADED とともに、その時点の状態で返ることがあります。結果を使う前に、警告を確認してください。

JavaScript レンダリングの料金はいくらですか?

Spicrawl はベータ期間中は無料です。JavaScript レンダリングが成功すると 3 クレジット、フルブラウザレンダリングは 8 クレジットを使います。デプロイが JavaScript レンダリングを処理できない場合、js_render はフルブラウザレンダリングで処理され、その料金で課金されることがあります。失敗したリクエストは 0 クレジットです。X-Engine(fetch、js、browser)と X-Credits-Charged で、何が実行されたかを確認できます。

JavaScript レンダリングで auto モードを使えますか?

いいえ。mode: auto は js_render と組み合わせられません。auto モードは通常のリクエストから始め、結果が使えないときに JavaScript レンダリング、さらにフルブラウザレンダリングへと上がります。JavaScript が必要とわかっているページには、代わりに js_render: true を使ってください。

JavaScript のウェブサイトをクロールできますか?

いいえ。Spicrawl は URL を見つけたり、リンクをたどったりしません。読みたいページの URL を送ってください。利用する権利のあるページだけを取得してください。