Spicrawl は、OpenAI Agents SDK、LangChain、Codex、Claude Code などに対応しました。連携を見る
コンテンツへスキップ

ログインの先にあるウェブサイトをスクレイプする

一度ログインすれば、ログインしたままにできます。アカウントのページを一つの API で読み取れます。

Spicrawl コントロールパネル
自動エスカレーション
ブラウザ
フィンガープリント
プロキシ
マネージドプロキシ: 近日公開
セッション
アクション
アセットをブロック
ネットワークキャプチャ
キャッシュ
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",  "cache": true,  "response_format": "markdown"}
レスポンスヘッダーの例
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
回避
X-Credits-Charged
3
セッション

リクエスト間で Cookie とストレージを保持するため、ログインが引き継がれます。

例のみで、実際のリクエストではありません。ベータは無料です。

リクエスト間でログインを保持する

セッションは、読み取るページ全体で 1 つの Cookie ジャーを共有します。この例は流れを示すもので、実際のリクエストではありません。

セッションを作成する
session.js
const s = await fetch("https://api.spicrawl.com/v1/sessions",   method: "POST",  headers:  Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );

仕組み

  1. セッションを作成します。 レスポンスの ID を保管します。
  2. ブラウザアクションでログインします。 ログインリクエストにセッション ID を送ります。
  3. アカウントのページを読み取ります。 同じ ID を再利用し、リクエストは 1 回に 1 つずつ送ります。
  4. セッションを解放する 終わったら。

セッションの作成と管理にはお客様の API キーに sessions スコープが、使用には scrape が必要です。キーは SPICRAWL_API_KEY に保管してください。

1. セッションを作成する

curl https://api.spicrawl.com/v1/sessions \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"ttl_seconds": 7200}'

レスポンスには id、engine、expires_at、hard_expires_at が含まれます。Cookie は一切含まれません。以下の例ではサンプルの ID を使っています。ご自身の ID に置き換えてください。

2. アクションでログインする

POST /v1/scrape に Bearer トークンを付けて、この本文を送ります。サイトに合わせて URL とセレクターを変更してください。ご自身が所有する、または利用が認められているアカウントの認証情報を使ってください。

json
{
  "url": "https://example.com/login",
  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
  "js_render": true,
  "actions": [
    {
      "fill": {
        "selector": "input[name=email]",
        "value": "YOUR_EMAIL"
      }
    },
    {
      "fill": {
        "selector": "input[name=password]",
        "value": "YOUR_PASSWORD",
        "secret": true
      }
    },
    {
      "click": "button[type=submit]"
    },
    {
      "wait_for": ".account-menu"
    }
  ]
}

メールアドレスとパスワードのプレースホルダーは、実行時に安全に置き換えてください。password アクションは secret: true を使います。js_render: true を維持してください。セッション ID だけでは、ブラウザ専用のフィールドは使えません。

3. 同じログインでページを読む

ログイン成功後は、スクレイプのたびに session_id を渡します。Cookie とストレージが引き継がれます。Python と TypeScript では、作成ステップの変数を再利用します。

curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'

セッションのリクエストは、常に結果キャッシュをバイパスします。Cache-State: bypass を確認してください。ページは毎回新たに取得されます。

4. セッションを解放する

bash
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
  -H "Authorization: Bearer $SPICRAWL_API_KEY"

解放すると、Cookie とストレージが削除されます。ログインは保持されません。その ID への以降のリクエストは 410 ERR::SESSION::RELEASED を返します。

セッションのオプション

オプション知っておくべきこと
engineセッションの存続中は固定です。スクレイプで別のエンジンを選ぶことはできません。これを省略した場合は、作成時のレスポンスを確認してください。
ttl_secondsデフォルトは 1,800 秒、最小は 30 です。スクレイプが成功すると有効期間が延びますが、hard_expires_at を超えることはありません。
session_contextアクティブなセッションから保存した Cookie とストレージを復元します。保存できるコンテキストは 1 MiB までです。

解放前にログインを保存するには、GET /v1/sessions/{id}/context を読み取ります。その状態を安全に保管し、新しいセッションを作成するときに session_context として渡してください。

料金

ベータ期間中は無料。セッションの作成、読み取り、解放は無料です。各スクレイプは、セッションのレンダリング階層で課金されます。fetch は 1 クレジット、js は 3、browser は 8 です。ビジー状態や期限切れのセッションを含む失敗は 0 です。

知っておくべきこと

  • セッションごとに、一度に一つのリクエスト。 2 回目のレンダリングは、Retry-After 付きの 409 ERR::SESSION::BUSY を返します。並列処理では、ワーカーごとに 1 つのセッションを使ってください。
  • 期限切れのセッションでは、再ログインが必要です。 不明、削除済み、または不正な形式の ID はエラーを返します。セッションなしでリクエストが実行されることはありません。
  • ご自身のプロキシ: ログイン時に IP が変わるとチャレンジが出るサイトには、固定の出口を使います。マネージドのセッション出口は近日公開です。
  • クロールはありません。 URL はお客様が用意します。マネージドプロキシ、ステルス、リモートブラウザ、プロンプトからの抽出は近日公開です。
  • あなたの責任: アクセスする権利のあるアカウントとページのみを使ってください。terms をお読みください。

よくある質問

ログインが必要なウェブサイトをスクレイプするにはどうすればいいですか?

セッションを作成し、ブラウザアクションでログインしてから、各スクレイプでその ID を session_id として送ります。アクションなどブラウザ専用のフィールドには js_render: true を使ってください。アクセスする権利のあるアカウントとページにのみ使用してください。

セッションは何を保持しますか?

セッションは、リクエストをまたいで Cookie とブラウザストレージを保持します。エンジンはセッションの存続期間中固定です。通常のセッションレスポンスに Cookie が含まれることはありません。コンテキストエンドポイントは、セッションが有効な間、保存された状態を返します。

1 つのセッションで多数のリクエストを同時に送れますか?

いいえ。セッションごとに、リクエストは一度に一つだけ送ってください。レンダリング中に二つ目のリクエストを送ると、Retry-After 付きで 409 ERR::SESSION::BUSY が返ります。並列処理では、ワーカーごとにセッションを一つ作成してください。

セッションを解放するとどうなりますか?

解放すると、その Cookie とストレージが削除されます。ログインは後のために保持されません。解放済みの ID を使ったスクレイプは 410 ERR::SESSION::RELEASED を返します。新しいセッションで復元する必要がある場合は、解放の前にコンテキストを保存してください。

セッションの料金はいくらですか?

セッションの作成、読み取り、解放は無料です。各スクレイプは、セッションが使うレンダリング階層で課金されます。fetch は 1 クレジット、js は 3、browser は 8 です。失敗したリクエストは 0 です。Spicrawl はベータ期間中無料です。