Spicrawl nay hoạt động với OpenAI Agents SDK, LangChain, Codex, Claude Code và nhiều hơn nữa.Xem các tích hợp
Chuyển đến nội dung

Scrape các trang web sau màn hình đăng nhập

Đăng nhập một lần và duy trì đăng nhập. Đọc các trang tài khoản của bạn bằng một API.

Bảng điều khiển Spicrawl
Tự động nâng cấp
Trình duyệt
Fingerprint
Proxy
Proxy được quản lý: sắp ra mắt
Session
Hành động
Chặn tài nguyên
Bắt network
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",  "cache": true,  "response_format": "markdown"}
Header phản hồi ví dụ
X-Target-Status
200
X-Engine
js
X-Proxy-Source
trực tiếp
Cache-State
vượt qua
X-Credits-Charged
3
Session

Giữ cookie và storage giữa các request, để đăng nhập được duy trì.

Chỉ là ví dụ, không phải request thật. Beta miễn phí.

Giữ đăng nhập giữa các request

Một session dùng chung một cookie jar cho các trang bạn đọc. Ví dụ này cho thấy luồng xử lý, không phải một request thật.

Tạo một session
session.js
const s = await fetch("https://api.spicrawl.com/v1/sessions",   method: "POST",  headers:  Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );

Cách hoạt động

  1. Tạo một session. Hãy giữ lại ID từ response.
  2. Đăng nhập bằng hành động trên trình duyệt. Gửi session ID cùng request đăng nhập.
  3. Đọc các trang tài khoản. Dùng lại cùng ID, mỗi lần một request.
  4. Giải phóng session khi bạn dùng xong.

API key của bạn cần scope sessions để tạo và quản lý session, và scrape để dùng một session. Hãy giữ nó trong SPICRAWL_API_KEY.

1. Tạo một session

curl https://api.spicrawl.com/v1/sessions \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"ttl_seconds": 7200}'

Response bao gồm id, engine, expires_at và hard_expires_at. Nó không bao giờ chứa cookie. Ví dụ bên dưới dùng một ID mẫu; hãy thay bằng ID của bạn.

2. Đăng nhập bằng actions

Gửi body này tới POST /v1/scrape cùng bearer token của bạn. Đổi URL và selector cho khớp với site. Dùng thông tin đăng nhập của một tài khoản bạn sở hữu hoặc được phép sử dụng.

json
{
  "url": "https://example.com/login",
  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
  "js_render": true,
  "actions": [
    {
      "fill": {
        "selector": "input[name=email]",
        "value": "YOUR_EMAIL"
      }
    },
    {
      "fill": {
        "selector": "input[name=password]",
        "value": "YOUR_PASSWORD",
        "secret": true
      }
    },
    {
      "click": "button[type=submit]"
    },
    {
      "wait_for": ".account-menu"
    }
  ]
}

Hãy thay các placeholder email và mật khẩu một cách an toàn khi chạy. Hành động mật khẩu dùng secret: true. Giữ js_render: true: một session ID đơn lẻ không cho phép dùng các trường chỉ có ở trình duyệt.

3. Đọc các trang bằng cùng phiên đăng nhập

Sau khi đăng nhập thành công, hãy truyền session_id trong mỗi scrape. Cookie và bộ nhớ lưu trữ được giữ lại. Python và TypeScript dùng lại các biến từ bước tạo.

curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'

Request session luôn bỏ qua cache kết quả. Kiểm tra Cache-State: bypass; trang được lấy mới.

4. Giải phóng session

bash
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
  -H "Authorization: Bearer $SPICRAWL_API_KEY"

Release sẽ xóa cookie và bộ nhớ lưu trữ. Nó không giữ lại phiên đăng nhập. Các request sau đó trên ID đó trả về 410 ERR::SESSION::RELEASED.

Tùy chọn session

Tùy chọnCần biết
engineCố định trong suốt vòng đời của session. Một lần scrape không thể chọn engine khác. Hãy xem phản hồi tạo session nếu bạn bỏ trống mục này.
ttl_secondsMặc định 1,800 giây; tối thiểu 30. Một scrape thành công sẽ kéo dài thời gian sống, nhưng không bao giờ quá hard_expires_at.
session_contextKhôi phục cookie và storage đã lưu từ một session đang hoạt động. Context đã lưu bị giới hạn ở 1 MiB.

Để lưu một phiên đăng nhập trước khi release, hãy đọc GET /v1/sessions/{id}/context. Lưu trạng thái đó an toàn, rồi truyền nó dưới dạng session_context khi tạo session mới.

Nó tốn bao nhiêu

Miễn phí trong thời gian beta. Tạo, đọc và giải phóng session không tốn gì. Mỗi lần scrape được tính giá theo tầng render của session: fetch 1 credit, js 3, browser 8. Thất bại, gồm cả session bận hoặc hết hạn, tốn 0.

Nên biết

  • Mỗi lần một request cho mỗi session. Lần render thứ hai trả về 409 ERR::SESSION::BUSY kèm Retry-After. Hãy dùng một session cho mỗi worker khi chạy song song.
  • Session hết hạn cần đăng nhập lại. Một ID không xác định, đã xóa hoặc sai định dạng sẽ trả về lỗi; request không bao giờ chạy khi thiếu session của nó.
  • Proxy của riêng bạn: hãy dùng một exit cố định cho các site thử thách đăng nhập khi IP thay đổi. Exit session được quản lý sắp ra mắt.
  • Không crawl. Bạn cung cấp các URL. Proxy được quản lý, stealth, trình duyệt từ xa và trích xuất từ một prompt sắp ra mắt.
  • Trách nhiệm của bạn: chỉ dùng tài khoản và trang bạn có quyền truy cập. Hãy đọc điều khoản của chúng tôi.

Câu hỏi thường gặp

Làm sao để scrape một trang web sau màn hình đăng nhập?

Tạo một session, đăng nhập bằng hành động trên trình duyệt, rồi gửi ID của nó dưới dạng session_id trong mỗi lần scrape. Dùng js_render: true cho actions và các trường chỉ có ở trình duyệt khác. Chỉ dùng các tài khoản và trang bạn có quyền truy cập.

Một session giữ lại những gì?

Một session giữ cookie và bộ nhớ lưu trữ của trình duyệt giữa các request. Engine được cố định trong suốt vòng đời của nó. Response session thông thường không bao giờ chứa cookie; endpoint context trả về trạng thái đã lưu khi session còn hoạt động.

Tôi có thể gửi nhiều request cùng lúc trên một session không?

Không. Hãy gửi từng request một cho mỗi session. Một request thứ hai khi một lần render đang chạy sẽ trả về 409 ERR::SESSION::BUSY kèm Retry-After. Với công việc song song, hãy tạo một session cho mỗi worker.

Điều gì xảy ra khi tôi giải phóng một session?

Release xóa cookie và storage của nó. Nó không giữ đăng nhập cho sau này. Một lần scrape dùng ID đã release trả về 410 ERR::SESSION::RELEASED. Hãy lưu context trước khi release nếu bạn cần khôi phục nó trong một session mới.

Session tốn bao nhiêu?

Tạo, đọc và giải phóng session không tốn gì. Mỗi lần scrape được tính giá theo tầng render mà session dùng: 1 credit cho fetch, 3 cho js hoặc 8 cho browser. Request thất bại tốn 0. Spicrawl miễn phí trong beta.