ブラウザアクション先にクリック、入力、スクロール
スクレイプの前にクリック、入力、スクロール
メニューを開き、フォームに入力し、続きを読み込みます。その後、ページを読み取ります。
- 1クリックメニューを開く、または「もっと見る」を押す
- 2入力フォームや検索ボックスに入力する
- 3スクロールフィードの残りを読み込む
- 4読み取りページを Markdown で取得する
リクエストを送る
actions.sh
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com", "js_render": true, "response_format": "markdown", "actions": [ { "click": "#accept" }, { "fill": { "selector": "#search", "value": "shoes" } }, { "scroll": { "y": 800 } } ] }'仕組み
- レンダリングをオンにする
js_render: trueを付けます。アクションにはブラウザが必要です。 - ステップを書き出す
actionsに書きます。ページの読み込み後に、順番に実行されます。 - ページを取得する 最後のステップ後の状態のまま、選んだ形式で取得します。
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products?category=lamps",
"js_render": true,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"}
]
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products?category=lamps",
"js_render": True,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"},
],
},
timeout=180,
)
print(r.text)spicrawl scrape "https://example.com/products?category=lamps" --render --format markdown \
--actions '[{"click":"button.load-more"},{"wait_for":".product-card:nth-child(40)"}]'使えるステップ
| ステップ | できること |
|---|---|
wait_for | 要素、または一定時間を待機します |
click | ボタンやリンクをクリックします |
fill | 入力欄に入力します。ログに値を残さないようにするには secret: true を追加します |
select | リストからオプションを選びます |
scroll | ページをスクロールします。進むにつれて続きを読み込むフィード向けです |
evaluate | ページ上でご自身の JavaScript を実行します |
screenshot | そのステップでのページの画像を保存します |
知っておくべきこと
- 最大 50 ステップ リクエストあたり。リスト全体が、何かが課金される前にチェックされます。
- ブラウザのみ。
js_renderがないと、リクエストは 400 で拒否されます。 - バッチでは使えません。 アクションは単一のスクレイプでのみ実行されます。
- ログイン: ご自身が所有する、または利用が認められているアカウントにのみログインしてください。ログイン状態を保つには session を使います。
- 料金: ベータ期間中は無料です。アクションはフルブラウザレンダリングで実行され、8 クレジットかかります。
よくある質問
ブラウザアクションでは何ができますか?
要素の待機、ナビゲーションの待機、クリック、入力欄への入力、オプションの選択、スクロール、JavaScript の実行、スクリーンショットの撮影ができます。ステップは、ページの読み込み後に順番に実行されます。
一つのリクエストに何ステップまで含められますか?
最大 50。リスト全体はリクエストの実行前に検証されるため、間違いは早い段階で失敗し、課金されません。
ブラウザアクションには JavaScript レンダリングが必要ですか?
はい。アクションはブラウザで実行されるため、js_render を true に設定してください。設定しないと、リクエストは 400 で拒否されます。
パスワードを安全に入力できますか?
はい。fill ステップに secret を true に設定すると、値がログから隠されます。ご自身が所有する、または使用が認められているアカウントにのみログインしてください。
ステップの後にスクリーンショットを取得できますか?
はい。screenshot ステップを追加してください。すると、レスポンスは JSON エンベロープになり、画像は screenshots の下に入ります。