Scrape các trang web sau màn hình đăng nhập
Đăng nhập một lần và duy trì đăng nhập. Đọc các trang tài khoản của bạn bằng một API.
{ "url": "https://shop.example/product/1", "js_render": true, "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- trực tiếp
- Cache-State
- vượt qua
- X-Credits-Charged
- 3
Bắt đầu bằng một request thường và chỉ nâng lên trình duyệt nếu trang web chặn nó. Request bị chặn không tốn gì.
Render JavaScript trong một trình duyệt thật trước khi trang được đọc.
Request thường mang fingerprint TLS và HTTP/2 của một trình duyệt thật.
Kết nối trực tiếp hoặc proxy của riêng bạn, không phụ phí.
Giữ cookie và storage giữa các request, để đăng nhập được duy trì.
Click, nhập, cuộn và chạy JavaScript trước khi trang được đọc.
Bỏ qua ảnh, phông chữ và media để tải nhanh hơn.
Ghi lại các lệnh gọi API mà trang thực hiện khi tải.
Bật theo mặc định trong 48 giờ. Lặp lại nhanh hơn, tính phí như nhau.
Giữ đăng nhập giữa các request
Một session dùng chung một cookie jar cho các trang bạn đọc. Ví dụ này cho thấy luồng xử lý, không phải một request thật.
const s = await fetch("https://api.spicrawl.com/v1/sessions", method: "POST", headers: Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );Cách hoạt động
- Tạo một session. Hãy giữ lại ID từ response.
- Đăng nhập bằng hành động trên trình duyệt. Gửi session ID cùng request đăng nhập.
- Đọc các trang tài khoản. Dùng lại cùng ID, mỗi lần một request.
- Giải phóng session khi bạn dùng xong.
API key của bạn cần scope sessions để tạo và quản lý session, và scrape để dùng một session. Hãy giữ nó trong SPICRAWL_API_KEY.
1. Tạo một session
curl https://api.spicrawl.com/v1/sessions \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"ttl_seconds": 7200}'import os, requests
API = "https://api.spicrawl.com"
headers = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
s = requests.post(f"{API}/v1/sessions", headers=headers,
json={"ttl_seconds": 7200}, timeout=30)
s.raise_for_status()
session_id = s.json()["id"]const API = "https://api.spicrawl.com";
const headers = {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
};
const s = await fetch(`${API}/v1/sessions`, {
method: "POST", headers,
body: JSON.stringify({ ttl_seconds: 7200 }),
});
if (!s.ok) throw new Error(await s.text());
const { id: sessionId } = await s.json();spicrawl sessions create --ttl 7200Response bao gồm id, engine, expires_at và hard_expires_at. Nó không bao giờ chứa cookie. Ví dụ bên dưới dùng một ID mẫu; hãy thay bằng ID của bạn.
2. Đăng nhập bằng actions
Gửi body này tới POST /v1/scrape cùng bearer token của bạn. Đổi URL và selector cho khớp với site. Dùng thông tin đăng nhập của một tài khoản bạn sở hữu hoặc được phép sử dụng.
{
"url": "https://example.com/login",
"session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
"js_render": true,
"actions": [
{
"fill": {
"selector": "input[name=email]",
"value": "YOUR_EMAIL"
}
},
{
"fill": {
"selector": "input[name=password]",
"value": "YOUR_PASSWORD",
"secret": true
}
},
{
"click": "button[type=submit]"
},
{
"wait_for": ".account-menu"
}
]
}Hãy thay các placeholder email và mật khẩu một cách an toàn khi chạy. Hành động mật khẩu dùng secret: true. Giữ js_render: true: một session ID đơn lẻ không cho phép dùng các trường chỉ có ở trình duyệt.
3. Đọc các trang bằng cùng phiên đăng nhập
Sau khi đăng nhập thành công, hãy truyền session_id trong mỗi scrape. Cookie và bộ nhớ lưu trữ được giữ lại. Python và TypeScript dùng lại các biến từ bước tạo.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'r = requests.post(f"{API}/v1/scrape", headers=headers, json={
"url": "https://example.com/account/orders", "session_id": session_id,
"js_render": True, "response_format": "markdown",
}, timeout=120)
r.raise_for_status()
print(r.text)const r = await fetch(`${API}/v1/scrape`, {
method: "POST", headers,
body: JSON.stringify({
url: "https://example.com/account/orders", session_id: sessionId,
js_render: true, response_format: "markdown",
}),
});
if (!r.ok) throw new Error(await r.text());
console.log(await r.text());spicrawl scrape https://example.com/account/orders --session 01J9ZQ4M7R3T8VX2K5N6P0B1CD --render --format markdownRequest session luôn bỏ qua cache kết quả. Kiểm tra Cache-State: bypass; trang được lấy mới.
4. Giải phóng session
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
-H "Authorization: Bearer $SPICRAWL_API_KEY"Release sẽ xóa cookie và bộ nhớ lưu trữ. Nó không giữ lại phiên đăng nhập. Các request sau đó trên ID đó trả về 410 ERR::SESSION::RELEASED.
Tùy chọn session
| Tùy chọn | Cần biết |
|---|---|
engine | Cố định trong suốt vòng đời của session. Một lần scrape không thể chọn engine khác. Hãy xem phản hồi tạo session nếu bạn bỏ trống mục này. |
ttl_seconds | Mặc định 1,800 giây; tối thiểu 30. Một scrape thành công sẽ kéo dài thời gian sống, nhưng không bao giờ quá hard_expires_at. |
session_context | Khôi phục cookie và storage đã lưu từ một session đang hoạt động. Context đã lưu bị giới hạn ở 1 MiB. |
Để lưu một phiên đăng nhập trước khi release, hãy đọc GET /v1/sessions/{id}/context. Lưu trạng thái đó an toàn, rồi truyền nó dưới dạng session_context khi tạo session mới.
Nó tốn bao nhiêu
Miễn phí trong thời gian beta. Tạo, đọc và giải phóng session không tốn gì. Mỗi lần scrape được tính giá theo tầng render của session: fetch 1 credit, js 3, browser 8. Thất bại, gồm cả session bận hoặc hết hạn, tốn 0.
Nên biết
- Mỗi lần một request cho mỗi session. Lần render thứ hai trả về
409 ERR::SESSION::BUSYkèmRetry-After. Hãy dùng một session cho mỗi worker khi chạy song song. - Session hết hạn cần đăng nhập lại. Một ID không xác định, đã xóa hoặc sai định dạng sẽ trả về lỗi; request không bao giờ chạy khi thiếu session của nó.
- Proxy của riêng bạn: hãy dùng một exit cố định cho các site thử thách đăng nhập khi IP thay đổi. Exit session được quản lý sắp ra mắt.
- Không crawl. Bạn cung cấp các URL. Proxy được quản lý, stealth, trình duyệt từ xa và trích xuất từ một prompt sắp ra mắt.
- Trách nhiệm của bạn: chỉ dùng tài khoản và trang bạn có quyền truy cập. Hãy đọc điều khoản của chúng tôi.
Câu hỏi thường gặp
Làm sao để scrape một trang web sau màn hình đăng nhập?
Tạo một session, đăng nhập bằng hành động trên trình duyệt, rồi gửi ID của nó dưới dạng session_id trong mỗi lần scrape. Dùng js_render: true cho actions và các trường chỉ có ở trình duyệt khác. Chỉ dùng các tài khoản và trang bạn có quyền truy cập.
Một session giữ lại những gì?
Một session giữ cookie và bộ nhớ lưu trữ của trình duyệt giữa các request. Engine được cố định trong suốt vòng đời của nó. Response session thông thường không bao giờ chứa cookie; endpoint context trả về trạng thái đã lưu khi session còn hoạt động.
Tôi có thể gửi nhiều request cùng lúc trên một session không?
Không. Hãy gửi từng request một cho mỗi session. Một request thứ hai khi một lần render đang chạy sẽ trả về 409 ERR::SESSION::BUSY kèm Retry-After. Với công việc song song, hãy tạo một session cho mỗi worker.
Điều gì xảy ra khi tôi giải phóng một session?
Release xóa cookie và storage của nó. Nó không giữ đăng nhập cho sau này. Một lần scrape dùng ID đã release trả về 410 ERR::SESSION::RELEASED. Hãy lưu context trước khi release nếu bạn cần khôi phục nó trong một session mới.
Session tốn bao nhiêu?
Tạo, đọc và giải phóng session không tốn gì. Mỗi lần scrape được tính giá theo tầng render mà session dùng: 1 credit cho fetch, 3 cho js hoặc 8 cho browser. Request thất bại tốn 0. Spicrawl miễn phí trong beta.