Scrape các trang web JavaScript
Gửi một URL cần JavaScript. Nhận lại trang dưới dạng Markdown hoặc JSON sạch.
{ "url": "https://shop.example/product/1", "js_render": true, "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- trực tiếp
- Cache-State
- hit
- X-Credits-Charged
- 3
Bắt đầu bằng một request thường và chỉ nâng lên trình duyệt nếu trang web chặn nó. Request bị chặn không tốn gì.
Render JavaScript trong một trình duyệt thật trước khi trang được đọc.
Request thường mang fingerprint TLS và HTTP/2 của một trình duyệt thật.
Kết nối trực tiếp hoặc proxy của riêng bạn, không phụ phí.
Giữ cookie và storage giữa các request, để đăng nhập được duy trì.
Click, nhập, cuộn và chạy JavaScript trước khi trang được đọc.
Bỏ qua ảnh, phông chữ và media để tải nhanh hơn.
Ghi lại các lệnh gọi API mà trang thực hiện khi tải.
Bật theo mặc định trong 48 giờ. Lặp lại nhanh hơn, tính phí như nhau.
Một trang đã render, ở định dạng bạn cần
Xem nội dung trang trở thành Markdown, JSON hoặc HTML như thế nào. Các ví dụ này cho thấy đầu ra, không phải một request thật.


# Wireless Mouse — Model X**$49.00** · Còn hàng · 4.6 (1,284 đánh giá)Bộ thu -latency 2.4 GHz, 70-day pinvà các công tắc im lặng.| Spec | Value || --------- | ------------ || Kết nối | 2.4 GHz, BT5 || Pin | 70 ngày |Đã loại bỏ menu, footer và quảng cáo: 3% đến 24% số token của HTML thô. Trang ví dụ.
Phản hồi đầy đủ: status, URL, engine và dữ liệu. Trang ví dụ.
Thông tin trang, quy tắc CSS hoặc một JSON Schema kèm selector. Trang ví dụ.
Các bước chạy trên trang, trong render bằng trình duyệt đầy đủ.
Cách hoạt động
- Gửi URL của trang tới
POST /v1/scrapevớijs_render: true. - Chờ nội dung. Đặt
wait_forthành một CSS selector, chẳng hạn.price. - Lấy trang đã render theo định dạng bạn chọn. Các ví dụ bên dưới trả về Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "js_render": True, "wait_for": ".price", "response_format": "markdown"},
timeout=180,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", js_render: true, wait_for: ".price", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --render --wait-for .price --format markdown --metaHãy giữ key trong SPICRAWL_API_KEY. Đừng bao giờ đặt nó trong code trình duyệt hay tệp bạn commit.
Khi nào cần render JavaScript
Request thường tải HTML mà không chạy script. Nếu kết quả là một vỏ rỗng hoặc thông báo “Loading…”, trang có thể cần JavaScript. Đặt js_render: true để chạy nó trong trình duyệt trước khi đọc.
Dùng request thường cho nội dung đã có trong HTML. Render cũng cần cho hành động trên trình duyệt, chặn tài nguyên và bắt network.
Chờ đúng nội dung
| Tùy chọn | Nó làm gì |
|---|---|
wait_for | Chờ một CSS selector xuất hiện trước khi chụp. |
wait_for_timeout | Đặt giới hạn chờ từ 0 đến 120,000 ms. Cần wait_for; 0 dùng giá trị mặc định. |
wait | Thêm độ trễ cố định từ 0 đến 30,000 ms sau khi tải. Nên dùng selector khi có thể. |
block_resources | Chọn tài nguyên nào bỏ qua. Ảnh và phông chữ bị chặn theo mặc định, ngoại trừ với actions và captures. |
response_format | Chọn Markdown, JSON hoặc HTML cho nội dung trang. |
Một danh sách tài nguyên tường minh sẽ thay thế mặc định. Dùng ["none"] để không chặn gì. Đừng chặn script khi trang cần chúng để dựng nội dung.
Kiểm tra kết quả
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3X-Engine cho biết bậc render nào đã chạy (fetch, js hoặc browser). X-Target-Status là status của site, còn X-Credits-Charged cho thấy khoản phí.
Nếu wait_for không bao giờ khớp, trang có thể được trả về đúng như lúc đó kèm X-Warning: RENDER_DEGRADED. Hãy kiểm tra nội dung và cảnh báo trước khi dùng.
Tầng render và chi phí
- Miễn phí trong thời gian beta. Credit cho biết chi phí của từng request.
- Render JavaScript:
js_render: truetốn 3 credit cho mỗi request thành công. - Render bằng trình duyệt đầy đủ: tốn 8 credit. Ảnh chụp màn hình, PDF và hành động dùng chế độ này, và Spicrawl tự định tuyến request tới đó cho bạn. Nếu một deployment không thể phục vụ bậc thông thường, nó có thể dùng bậc cao hơn kế tiếp và trả về
X-Warning: ENGINE_SUBSTITUTED; hãy đặtmax_costđể từ chối mức giá cao hơn. - Bạn không chọn tầng. Spicrawl chọn bậc dựa trên nhu cầu của request và tính phí theo bậc đã phục vụ.
- Thất bại tốn 0. Việc chờ và chặn tài nguyên không tính thêm phí. Đặt
max_costđể giới hạn một request.
Nên biết
- Chọn render hoặc chế độ auto.
mode: "auto"không thể kết hợp vớijs_render. Nó bắt đầu bằng fetch, rồi nâng lên render JavaScript, sau đó render bằng trình duyệt đầy đủ, chỉ khi bước trước gặp thử thách chặn. - Cờ trình duyệt cần có trình duyệt. Gửi
wait_for, hành động hoặc chặn tài nguyên mà không cójs_rendersẽ trả về lỗi. - Không crawl. Hãy gửi các URL bạn muốn; Spicrawl không tự tìm trang hay đi theo liên kết.
- Sắp ra mắt: proxy được quản lý, chế độ stealth, trình duyệt từ xa và trích xuất từ một prompt bằng ngôn ngữ thường.
- Trách nhiệm của bạn: chỉ lấy các trang bạn có quyền sử dụng. Hãy đọc điều khoản của chúng tôi.
Câu hỏi thường gặp
Làm sao để scrape một trang web JavaScript?
Gửi URL của trang tới POST https://api.spicrawl.com/v1/scrape với js_render đặt là true. Trình duyệt chạy các script trước khi Spicrawl đọc trang. Chọn response_format cho Markdown, JSON hoặc HTML.
Làm sao để chờ nội dung tải xong?
Đặt wait_for là một CSS selector, như .price. Dùng wait_for_timeout để đặt timeout tối đa 120000 mili giây. Nếu selector không bao giờ khớp, trang có thể trả về đúng như lúc nó đang có với X-Warning: RENDER_DEGRADED. Hãy kiểm tra cảnh báo trước khi dùng kết quả.
Render JavaScript tốn bao nhiêu?
Spicrawl miễn phí trong thời gian beta. Mỗi lần render JavaScript thành công dùng 3 credit; render bằng trình duyệt đầy đủ dùng 8. Nếu một deployment không thể phục vụ render JavaScript, js_render có thể được phục vụ bằng render trình duyệt đầy đủ và tính theo mức giá đó. Request thất bại dùng 0 credit. Hãy đọc X-Engine (fetch, js hoặc browser) và X-Credits-Charged để kiểm tra cái gì đã chạy.
Tôi có thể dùng chế độ auto với render JavaScript không?
Không. mode: auto không thể kết hợp với js_render. Chế độ auto bắt đầu bằng một request thường và nâng lên render JavaScript, rồi render bằng trình duyệt đầy đủ, khi kết quả không dùng được. Với các trang bạn biết cần JavaScript, hãy dùng js_render: true.
Nó có crawl được một trang web JavaScript không?
Không. Spicrawl không tự tìm URL hay theo liên kết. Hãy gửi URL của các trang bạn muốn đọc. Chỉ fetch các trang bạn có quyền sử dụng.