ログインの先にあるウェブサイトをスクレイプする
一度ログインすれば、ログインしたままにできます。アカウントのページを一つの API で読み取れます。
{ "url": "https://shop.example/product/1", "js_render": true, "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- 回避
- X-Credits-Charged
- 3
通常のリクエストから始め、サイトにブロックされた場合にのみブラウザに切り替えます。ブロックされたリクエストは無料です。
ページを読み取る前に、実際のブラウザで JavaScript をレンダリングします。
通常のリクエストには、実際のブラウザの TLS と HTTP/2 のフィンガープリントが付きます。
直接接続またはご自身のプロキシ。追加料金はありません。
リクエスト間で Cookie とストレージを保持するため、ログインが引き継がれます。
ページを読み取る前に、クリック、入力、スクロール、JavaScript の実行ができます。
画像、フォント、メディアをスキップして、読み込みを高速化します。
ページが読み込み中に行う API 呼び出しを記録します。
デフォルトで 48 時間有効です。繰り返しは速くなり、課金は同じです。
リクエスト間でログインを保持する
セッションは、読み取るページ全体で 1 つの Cookie ジャーを共有します。この例は流れを示すもので、実際のリクエストではありません。
const s = await fetch("https://api.spicrawl.com/v1/sessions", method: "POST", headers: Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );仕組み
- セッションを作成します。 レスポンスの ID を保管します。
- ブラウザアクションでログインします。 ログインリクエストにセッション ID を送ります。
- アカウントのページを読み取ります。 同じ ID を再利用し、リクエストは 1 回に 1 つずつ送ります。
- セッションを解放する 終わったら。
セッションの作成と管理にはお客様の API キーに sessions スコープが、使用には scrape が必要です。キーは SPICRAWL_API_KEY に保管してください。
1. セッションを作成する
curl https://api.spicrawl.com/v1/sessions \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"ttl_seconds": 7200}'import os, requests
API = "https://api.spicrawl.com"
headers = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
s = requests.post(f"{API}/v1/sessions", headers=headers,
json={"ttl_seconds": 7200}, timeout=30)
s.raise_for_status()
session_id = s.json()["id"]const API = "https://api.spicrawl.com";
const headers = {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
};
const s = await fetch(`${API}/v1/sessions`, {
method: "POST", headers,
body: JSON.stringify({ ttl_seconds: 7200 }),
});
if (!s.ok) throw new Error(await s.text());
const { id: sessionId } = await s.json();spicrawl sessions create --ttl 7200レスポンスには id、engine、expires_at、hard_expires_at が含まれます。Cookie は一切含まれません。以下の例ではサンプルの ID を使っています。ご自身の ID に置き換えてください。
2. アクションでログインする
POST /v1/scrape に Bearer トークンを付けて、この本文を送ります。サイトに合わせて URL とセレクターを変更してください。ご自身が所有する、または利用が認められているアカウントの認証情報を使ってください。
{
"url": "https://example.com/login",
"session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
"js_render": true,
"actions": [
{
"fill": {
"selector": "input[name=email]",
"value": "YOUR_EMAIL"
}
},
{
"fill": {
"selector": "input[name=password]",
"value": "YOUR_PASSWORD",
"secret": true
}
},
{
"click": "button[type=submit]"
},
{
"wait_for": ".account-menu"
}
]
}メールアドレスとパスワードのプレースホルダーは、実行時に安全に置き換えてください。password アクションは secret: true を使います。js_render: true を維持してください。セッション ID だけでは、ブラウザ専用のフィールドは使えません。
3. 同じログインでページを読む
ログイン成功後は、スクレイプのたびに session_id を渡します。Cookie とストレージが引き継がれます。Python と TypeScript では、作成ステップの変数を再利用します。
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'r = requests.post(f"{API}/v1/scrape", headers=headers, json={
"url": "https://example.com/account/orders", "session_id": session_id,
"js_render": True, "response_format": "markdown",
}, timeout=120)
r.raise_for_status()
print(r.text)const r = await fetch(`${API}/v1/scrape`, {
method: "POST", headers,
body: JSON.stringify({
url: "https://example.com/account/orders", session_id: sessionId,
js_render: true, response_format: "markdown",
}),
});
if (!r.ok) throw new Error(await r.text());
console.log(await r.text());spicrawl scrape https://example.com/account/orders --session 01J9ZQ4M7R3T8VX2K5N6P0B1CD --render --format markdownセッションのリクエストは、常に結果キャッシュをバイパスします。Cache-State: bypass を確認してください。ページは毎回新たに取得されます。
4. セッションを解放する
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
-H "Authorization: Bearer $SPICRAWL_API_KEY"解放すると、Cookie とストレージが削除されます。ログインは保持されません。その ID への以降のリクエストは 410 ERR::SESSION::RELEASED を返します。
セッションのオプション
| オプション | 知っておくべきこと |
|---|---|
engine | セッションの存続中は固定です。スクレイプで別のエンジンを選ぶことはできません。これを省略した場合は、作成時のレスポンスを確認してください。 |
ttl_seconds | デフォルトは 1,800 秒、最小は 30 です。スクレイプが成功すると有効期間が延びますが、hard_expires_at を超えることはありません。 |
session_context | アクティブなセッションから保存した Cookie とストレージを復元します。保存できるコンテキストは 1 MiB までです。 |
解放前にログインを保存するには、GET /v1/sessions/{id}/context を読み取ります。その状態を安全に保管し、新しいセッションを作成するときに session_context として渡してください。
料金
ベータ期間中は無料。セッションの作成、読み取り、解放は無料です。各スクレイプは、セッションのレンダリング階層で課金されます。fetch は 1 クレジット、js は 3、browser は 8 です。ビジー状態や期限切れのセッションを含む失敗は 0 です。
知っておくべきこと
- セッションごとに、一度に一つのリクエスト。 2 回目のレンダリングは、
Retry-After付きの409 ERR::SESSION::BUSYを返します。並列処理では、ワーカーごとに 1 つのセッションを使ってください。 - 期限切れのセッションでは、再ログインが必要です。 不明、削除済み、または不正な形式の ID はエラーを返します。セッションなしでリクエストが実行されることはありません。
- ご自身のプロキシ: ログイン時に IP が変わるとチャレンジが出るサイトには、固定の出口を使います。マネージドのセッション出口は近日公開です。
- クロールはありません。 URL はお客様が用意します。マネージドプロキシ、ステルス、リモートブラウザ、プロンプトからの抽出は近日公開です。
- あなたの責任: アクセスする権利のあるアカウントとページのみを使ってください。terms をお読みください。
よくある質問
ログインが必要なウェブサイトをスクレイプするにはどうすればいいですか?
セッションを作成し、ブラウザアクションでログインしてから、各スクレイプでその ID を session_id として送ります。アクションなどブラウザ専用のフィールドには js_render: true を使ってください。アクセスする権利のあるアカウントとページにのみ使用してください。
セッションは何を保持しますか?
セッションは、リクエストをまたいで Cookie とブラウザストレージを保持します。エンジンはセッションの存続期間中固定です。通常のセッションレスポンスに Cookie が含まれることはありません。コンテキストエンドポイントは、セッションが有効な間、保存された状態を返します。
1 つのセッションで多数のリクエストを同時に送れますか?
いいえ。セッションごとに、リクエストは一度に一つだけ送ってください。レンダリング中に二つ目のリクエストを送ると、Retry-After 付きで 409 ERR::SESSION::BUSY が返ります。並列処理では、ワーカーごとにセッションを一つ作成してください。
セッションを解放するとどうなりますか?
解放すると、その Cookie とストレージが削除されます。ログインは後のために保持されません。解放済みの ID を使ったスクレイプは 410 ERR::SESSION::RELEASED を返します。新しいセッションで復元する必要がある場合は、解放の前にコンテキストを保存してください。
セッションの料金はいくらですか?
セッションの作成、読み取り、解放は無料です。各スクレイプは、セッションが使うレンダリング階層で課金されます。fetch は 1 クレジット、js は 3、browser は 8 です。失敗したリクエストは 0 です。Spicrawl はベータ期間中無料です。