バッチウェブスクレイピング API
1 回の呼び出しで最大 10,000 件の URL を送信。すべてのページをクリーンなデータで取得できます。
URL を送信する
batch.py
import リクエストjob = リクエスト.post( "https://api.spicrawl.com/v1/batch", headers="Authorization": "Bearer spicrawl_live_…", json={ "urls": ["https://example.com/one", "https://example.com/two"], "js_render": True, },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])仕組み
- URL を送る
POST /v1/batchに送ります。ジョブ ID がすぐに返ります。 - ジョブを確認する ステータスが
completed、failed、またはcancelledになるまで続けます。 - 結果を読み取る JSON Lines として、1 ページずつ
X-Next-Cursor付きで取得します。
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "catalog-refresh",
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown"
}'import os, time, requests
API = "https://api.spicrawl.com"
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
job = requests.post(f"{API}/v1/batch", headers=H, json={
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown",
}, timeout=60).json()
while job["status"] not in ("completed", "failed", "cancelled"):
time.sleep(5)
job = requests.get(f"{API}/v1/batch/{job['id']}", headers=H, timeout=30).json()
results = requests.get(f"{API}/v1/batch/{job['id']}/results", headers=H, timeout=120)
print(results.text) # JSON Lines: one result per linespicrawl batch submit urls.txt --format markdown --wait
spicrawl batch results <job-id> --all -o results.jsonlキーは SPICRAWL_API_KEY に保管してください。キーには batch スコープが必要です。
各項目でできること
- 形式:
html(デフォルト)、markdown、text、json。 - 後片付け:
main_content_only、include_tags、exclude_tagsは Markdown とテキストで使えます。 - JavaScript: ブラウザが必要なページには
js_render: trueを設定してください。 - URL ごとの設定: URL ごとに設定を指定し
external_idを付けるには、urlsの代わりにitemsを送ります。
知っておくべきこと
- バッチでは使えません: 抽出、スクリーンショット、ブラウザアクション、セッション。これらを求めるジョブは、課金の前に 400 で拒否されます。そうしたページには 単一のスクレイプ を使ってください。
- 結果の期限切れ ジョブ完了から 72 時間後。
- クロールはありません。 Spicrawl は URL を探したり、リンクをたどったりしません。リストはお客様が送ります。
- 料金: ベータ期間中は無料です。成功した各アイテムは、単一のスクレイプと同じクレジットを使います。
よくある質問
一つのバッチジョブに何件の URL を含められますか?
1 回の呼び出しで最大 10,000 件の URL。urls にリストとして送るか、URL ごとに独自の設定や、照合に使える external_id が必要な場合は items として送ってください。
バッチジョブはどの形式を返しますか?
各項目は html(デフォルト)、markdown、text、json のいずれかで返ります。Markdown と text は、単一のスクレイプと同じ変換を使います。
バッチの結果はどれくらい保持されますか?
For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.
バッチジョブでフィールドを抽出したり、ボタンをクリックしたりできますか?
いいえ。抽出、スクリーンショット、ブラウザアクション、セッションはバッチでは実行されません。これらを求めるジョブは、課金される前に 400 で拒否されます。それらのページには、単一のスクレイプを使ってください。
バッチはウェブサイトをクロールしますか?
いいえ。Spicrawl は URL を見つけたり、リンクをたどったりしません。ほしい URL のリストを送ってください。