Spicrawl は、OpenAI Agents SDK、LangChain、Codex、Claude Code などに対応しました。連携を見る
コンテンツへスキップ

バッチウェブスクレイピング API

1 回の呼び出しで最大 10,000 件の URL を送信。すべてのページをクリーンなデータで取得できます。

URL を送信する
batch.py
import リクエストjob = リクエスト.post(    "https://api.spicrawl.com/v1/batch",    headers="Authorization": "Bearer spicrawl_live_…",    json={        "urls": ["https://example.com/one", "https://example.com/two"],        "js_render": True,    },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])

仕組み

  1. URL を送る POST /v1/batch に送ります。ジョブ ID がすぐに返ります。
  2. ジョブを確認する ステータスが completed、failed、または cancelled になるまで続けます。
  3. 結果を読み取る JSON Lines として、1 ページずつ X-Next-Cursor 付きで取得します。
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "catalog-refresh",
    "urls": ["https://example.com/products/1", "https://example.com/products/2"],
    "response_format": "markdown"
  }'

キーは SPICRAWL_API_KEY に保管してください。キーには batch スコープが必要です。

各項目でできること

  • 形式: html(デフォルト)、markdown、text、json。
  • 後片付け: main_content_only、include_tags、exclude_tags は Markdown とテキストで使えます。
  • JavaScript: ブラウザが必要なページには js_render: true を設定してください。
  • URL ごとの設定: URL ごとに設定を指定し external_id を付けるには、urls の代わりに items を送ります。

知っておくべきこと

  • バッチでは使えません: 抽出、スクリーンショット、ブラウザアクション、セッション。これらを求めるジョブは、課金の前に 400 で拒否されます。そうしたページには 単一のスクレイプ を使ってください。
  • 結果の期限切れ ジョブ完了から 72 時間後。
  • クロールはありません。 Spicrawl は URL を探したり、リンクをたどったりしません。リストはお客様が送ります。
  • 料金: ベータ期間中は無料です。成功した各アイテムは、単一のスクレイプと同じクレジットを使います。

よくある質問

一つのバッチジョブに何件の URL を含められますか?

1 回の呼び出しで最大 10,000 件の URL。urls にリストとして送るか、URL ごとに独自の設定や、照合に使える external_id が必要な場合は items として送ってください。

バッチジョブはどの形式を返しますか?

各項目は html(デフォルト)、markdown、text、json のいずれかで返ります。Markdown と text は、単一のスクレイプと同じ変換を使います。

バッチの結果はどれくらい保持されますか?

For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.

バッチジョブでフィールドを抽出したり、ボタンをクリックしたりできますか?

いいえ。抽出、スクリーンショット、ブラウザアクション、セッションはバッチでは実行されません。これらを求めるジョブは、課金される前に 400 で拒否されます。それらのページには、単一のスクレイプを使ってください。

バッチはウェブサイトをクロールしますか?

いいえ。Spicrawl は URL を見つけたり、リンクをたどったりしません。ほしい URL のリストを送ってください。