Trích xuất dữ liệu có cấu trúc từ mọi trang web
Chọn các trường bạn cần. Nhận lại chúng dưới dạng JSON sạch.


# Wireless Mouse — Model X**$49.00** · Còn hàng · 4.6 (1,284 đánh giá)Bộ thu -latency 2.4 GHz, 70-day pinvà các công tắc im lặng.| Spec | Value || --------- | ------------ || Kết nối | 2.4 GHz, BT5 || Pin | 70 ngày |Đã loại bỏ menu, footer và quảng cáo: 3% đến 24% số token của HTML thô. Trang ví dụ.
Phản hồi đầy đủ: status, URL, engine và dữ liệu. Trang ví dụ.
Thông tin trang, quy tắc CSS hoặc một JSON Schema kèm selector. Trang ví dụ.
Các bước chạy trên trang, trong render bằng trình duyệt đầy đủ.
Cách hoạt động
- Đặt tên cho các trường của bạn và đặt cho mỗi trường một CSS selector.
- Gửi chúng trong
extractcùng URL của trang. - Đọc JSON. Các trường của bạn nằm trong
data.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products/42",
"extract": { "title": "h1", "price": ".price", "next_page": "a.next@href" }
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products/42",
"extract": {"title": "h1", "price": ".price", "next_page": "a.next@href"},
},
timeout=120,
)
env = r.json()
print(env["data"], env.get("empty_fields"))spicrawl scrape https://example.com/products/42 \
--extract '{"title":"h1","price":".price","next_page":"a.next@href"}'{
"status": 200,
"data": {
"title": "Walnut Desk",
"price": "$349.00"
},
"empty_fields": ["next_page"]
}empty_fields liệt kê các trường không khớp gì. Đây thường là dấu hiệu đầu tiên cho thấy site đã đổi bố cục.
Ba cách để lấy dữ liệu
| Cách | Những gì bạn gửi | Bạn nhận được gì |
|---|---|---|
autoparse | "autoparse": true | JSON-LD, OpenGraph, microdata, metadata và trạng thái ứng dụng của chính trang |
| Bản đồ selector | Tên trường và CSS selector | Đúng những trường đó, dưới dạng văn bản |
| JSON Schema | Một schema có các trường dùng selector | Giá trị có kiểu, đã kiểm tra, nên "$1,234.56" trở thành 1234.56 |
Nên biết
- Không tốn thêm credit cho việc trích xuất. Bạn chỉ trả cho request: 1 credit nếu thường, 3 nếu có JavaScript.
- Sắp ra mắt: trích xuất từ một prompt bằng ngôn ngữ thường. Hiện tại, hãy dùng selector, schema hoặc autoparse.
- Không có trên batch. Trích xuất chỉ chạy trên scrape đơn.
- Trách nhiệm của bạn: chỉ trích xuất dữ liệu bạn có quyền sử dụng. Xem điều khoản của chúng tôi.
Câu hỏi thường gặp
Làm sao để trích xuất dữ liệu từ một trang web dưới dạng JSON?
Gửi extract với một bản đồ từ tên trường sang CSS selector, như "title": "h1" và "price": ".price". Các giá trị trả về trong data của phản hồi JSON.
autoparse làm gì?
Nó trả về những gì trang tự nói về mình, không cần selector: JSON-LD, OpenGraph, Twitter Card, microdata, RDFa, metadata trong head và trạng thái ứng dụng nhúng.
Nó có trả về số thay vì văn bản được không?
Có. Dùng một JSON Schema có các thuộc tính kèm selector. Giá trị được chuyển sang kiểu đã khai báo, nên "$1,234.56" trở thành 1234.56, và kết quả được kiểm tra theo schema.
Làm sao để biết khi một trang web đổi bố cục?
Kiểm tra empty_fields trong phản hồi. Nó liệt kê các trường mà selector không khớp với gì, thường là dấu hiệu đầu tiên cho thấy markup đã thay đổi.
Tôi có thể mô tả các trường bằng lời thường thay vì selector không?
Chưa có. Trích xuất bằng prompt cho model sắp ra mắt. Hiện nay, hãy dùng selector, JSON Schema hoặc autoparse.