Spicrawl nay hoạt động với OpenAI Agents SDK, LangChain, Codex, Claude Code và nhiều hơn nữa.Xem các tích hợp
Chuyển đến nội dung

Scrape các trang web JavaScript

Gửi một URL cần JavaScript. Nhận lại trang dưới dạng Markdown hoặc JSON sạch.

Bảng điều khiển Spicrawl
Tự động nâng cấp
Trình duyệt
Fingerprint
Proxy
Proxy được quản lý: sắp ra mắt
Session
Hành động
Chặn tài nguyên
Bắt network
Cache
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "cache": true,  "response_format": "markdown"}
Header phản hồi ví dụ
X-Target-Status
200
X-Engine
js
X-Proxy-Source
trực tiếp
Cache-State
hit
X-Credits-Charged
3
Trình duyệt

Render JavaScript trong một trình duyệt thật trước khi trang được đọc.

Chỉ là ví dụ, không phải request thật. Beta miễn phí.

Một trang đã render, ở định dạng bạn cần

Xem nội dung trang trở thành Markdown, JSON hoặc HTML như thế nào. Các ví dụ này cho thấy đầu ra, không phải một request thật.

example.com/product/1
Giới thiệu Model X — Chính xác trong từng cú click
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00Còn hàng★ 4.6 (1,284)
Bộ thu 2.4 GHz độ trễ thấp, pin 70 ngày và công tắc im lặng.
Thông sốGiá trị
Kết nối2.4 GHz, BT5Pin70 ngày
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · Còn hàng · 4.6 (1,284 đánh giá)Bộ thu -latency 2.4 GHz, 70-day pinvà các công tắc im lặng.| Spec      | Value        || --------- | ------------ || Kết nối   | 2.4 GHz, BT5 || Pin       | 70 ngày      |
Đang đọc trang
HTML thô12,480 token
Markdown0 token

Đã loại bỏ menu, footer và quảng cáo: 3% đến 24% số token của HTML thô. Trang ví dụ.

Cách hoạt động

  1. Gửi URL của trang tới POST /v1/scrape với js_render: true.
  2. Chờ nội dung. Đặt wait_for thành một CSS selector, chẳng hạn .price.
  3. Lấy trang đã render theo định dạng bạn chọn. Các ví dụ bên dưới trả về Markdown.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'

Hãy giữ key trong SPICRAWL_API_KEY. Đừng bao giờ đặt nó trong code trình duyệt hay tệp bạn commit.

Khi nào cần render JavaScript

Request thường tải HTML mà không chạy script. Nếu kết quả là một vỏ rỗng hoặc thông báo “Loading…”, trang có thể cần JavaScript. Đặt js_render: true để chạy nó trong trình duyệt trước khi đọc.

Dùng request thường cho nội dung đã có trong HTML. Render cũng cần cho hành động trên trình duyệt, chặn tài nguyên và bắt network.

Chờ đúng nội dung

Tùy chọnNó làm gì
wait_forChờ một CSS selector xuất hiện trước khi chụp.
wait_for_timeoutĐặt giới hạn chờ từ 0 đến 120,000 ms. Cần wait_for; 0 dùng giá trị mặc định.
waitThêm độ trễ cố định từ 0 đến 30,000 ms sau khi tải. Nên dùng selector khi có thể.
block_resourcesChọn tài nguyên nào bỏ qua. Ảnh và phông chữ bị chặn theo mặc định, ngoại trừ với actions và captures.
response_formatChọn Markdown, JSON hoặc HTML cho nội dung trang.

Một danh sách tài nguyên tường minh sẽ thay thế mặc định. Dùng ["none"] để không chặn gì. Đừng chặn script khi trang cần chúng để dựng nội dung.

Kiểm tra kết quả

http
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3

X-Engine cho biết bậc render nào đã chạy (fetch, js hoặc browser). X-Target-Status là status của site, còn X-Credits-Charged cho thấy khoản phí.

Nếu wait_for không bao giờ khớp, trang có thể được trả về đúng như lúc đó kèm X-Warning: RENDER_DEGRADED. Hãy kiểm tra nội dung và cảnh báo trước khi dùng.

Tầng render và chi phí

  • Miễn phí trong thời gian beta. Credit cho biết chi phí của từng request.
  • Render JavaScript: js_render: true tốn 3 credit cho mỗi request thành công.
  • Render bằng trình duyệt đầy đủ: tốn 8 credit. Ảnh chụp màn hình, PDF và hành động dùng chế độ này, và Spicrawl tự định tuyến request tới đó cho bạn. Nếu một deployment không thể phục vụ bậc thông thường, nó có thể dùng bậc cao hơn kế tiếp và trả về X-Warning: ENGINE_SUBSTITUTED; hãy đặt max_cost để từ chối mức giá cao hơn.
  • Bạn không chọn tầng. Spicrawl chọn bậc dựa trên nhu cầu của request và tính phí theo bậc đã phục vụ.
  • Thất bại tốn 0. Việc chờ và chặn tài nguyên không tính thêm phí. Đặt max_cost để giới hạn một request.

Nên biết

  • Chọn render hoặc chế độ auto. mode: "auto" không thể kết hợp với js_render. Nó bắt đầu bằng fetch, rồi nâng lên render JavaScript, sau đó render bằng trình duyệt đầy đủ, chỉ khi bước trước gặp thử thách chặn.
  • Cờ trình duyệt cần có trình duyệt. Gửi wait_for, hành động hoặc chặn tài nguyên mà không có js_render sẽ trả về lỗi.
  • Không crawl. Hãy gửi các URL bạn muốn; Spicrawl không tự tìm trang hay đi theo liên kết.
  • Sắp ra mắt: proxy được quản lý, chế độ stealth, trình duyệt từ xa và trích xuất từ một prompt bằng ngôn ngữ thường.
  • Trách nhiệm của bạn: chỉ lấy các trang bạn có quyền sử dụng. Hãy đọc điều khoản của chúng tôi.

Câu hỏi thường gặp

Làm sao để scrape một trang web JavaScript?

Gửi URL của trang tới POST https://api.spicrawl.com/v1/scrape với js_render đặt là true. Trình duyệt chạy các script trước khi Spicrawl đọc trang. Chọn response_format cho Markdown, JSON hoặc HTML.

Làm sao để chờ nội dung tải xong?

Đặt wait_for là một CSS selector, như .price. Dùng wait_for_timeout để đặt timeout tối đa 120000 mili giây. Nếu selector không bao giờ khớp, trang có thể trả về đúng như lúc nó đang có với X-Warning: RENDER_DEGRADED. Hãy kiểm tra cảnh báo trước khi dùng kết quả.

Render JavaScript tốn bao nhiêu?

Spicrawl miễn phí trong thời gian beta. Mỗi lần render JavaScript thành công dùng 3 credit; render bằng trình duyệt đầy đủ dùng 8. Nếu một deployment không thể phục vụ render JavaScript, js_render có thể được phục vụ bằng render trình duyệt đầy đủ và tính theo mức giá đó. Request thất bại dùng 0 credit. Hãy đọc X-Engine (fetch, js hoặc browser) và X-Credits-Charged để kiểm tra cái gì đã chạy.

Tôi có thể dùng chế độ auto với render JavaScript không?

Không. mode: auto không thể kết hợp với js_render. Chế độ auto bắt đầu bằng một request thường và nâng lên render JavaScript, rồi render bằng trình duyệt đầy đủ, khi kết quả không dùng được. Với các trang bạn biết cần JavaScript, hãy dùng js_render: true.

Nó có crawl được một trang web JavaScript không?

Không. Spicrawl không tự tìm URL hay theo liên kết. Hãy gửi URL của các trang bạn muốn đọc. Chỉ fetch các trang bạn có quyền sử dụng.