Spicrawl nay hoạt động với OpenAI Agents SDK, LangChain, Codex, Claude Code và nhiều hơn nữa.Xem các tích hợp
Chuyển đến nội dung

Trích xuất dữ liệu có cấu trúc từ mọi trang web

Chọn các trường bạn cần. Nhận lại chúng dưới dạng JSON sạch.

example.com/product/1
Giới thiệu Model X — Chính xác trong từng cú click
Wireless Mouse — Model X
Wireless Mouse — Model X
$49.00Còn hàng★ 4.6 (1,284)
Bộ thu 2.4 GHz độ trễ thấp, pin 70 ngày và công tắc im lặng.
Thông sốGiá trị
Kết nối2.4 GHz, BT5Pin70 ngày
<script type="application/ld+json">
result.md
# Wireless Mouse — Model X**$49.00** · Còn hàng · 4.6 (1,284 đánh giá)Bộ thu -latency 2.4 GHz, 70-day pinvà các công tắc im lặng.| Spec      | Value        || --------- | ------------ || Kết nối   | 2.4 GHz, BT5 || Pin       | 70 ngày      |
Đang đọc trang
HTML thô12,480 token
Markdown0 token

Đã loại bỏ menu, footer và quảng cáo: 3% đến 24% số token của HTML thô. Trang ví dụ.

Cách hoạt động

  1. Đặt tên cho các trường của bạn và đặt cho mỗi trường một CSS selector.
  2. Gửi chúng trong extract cùng URL của trang.
  3. Đọc JSON. Các trường của bạn nằm trong data.
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/products/42",
    "extract": { "title": "h1", "price": ".price", "next_page": "a.next@href" }
  }'
json
{
  "status": 200,
  "data": {
    "title": "Walnut Desk",
    "price": "$349.00"
  },
  "empty_fields": ["next_page"]
}

empty_fields liệt kê các trường không khớp gì. Đây thường là dấu hiệu đầu tiên cho thấy site đã đổi bố cục.

Ba cách để lấy dữ liệu

CáchNhững gì bạn gửiBạn nhận được gì
autoparse"autoparse": trueJSON-LD, OpenGraph, microdata, metadata và trạng thái ứng dụng của chính trang
Bản đồ selectorTên trường và CSS selectorĐúng những trường đó, dưới dạng văn bản
JSON SchemaMột schema có các trường dùng selectorGiá trị có kiểu, đã kiểm tra, nên "$1,234.56" trở thành 1234.56

Nên biết

  • Không tốn thêm credit cho việc trích xuất. Bạn chỉ trả cho request: 1 credit nếu thường, 3 nếu có JavaScript.
  • Sắp ra mắt: trích xuất từ một prompt bằng ngôn ngữ thường. Hiện tại, hãy dùng selector, schema hoặc autoparse.
  • Không có trên batch. Trích xuất chỉ chạy trên scrape đơn.
  • Trách nhiệm của bạn: chỉ trích xuất dữ liệu bạn có quyền sử dụng. Xem điều khoản của chúng tôi.

Câu hỏi thường gặp

Làm sao để trích xuất dữ liệu từ một trang web dưới dạng JSON?

Gửi extract với một bản đồ từ tên trường sang CSS selector, như "title": "h1" và "price": ".price". Các giá trị trả về trong data của phản hồi JSON.

autoparse làm gì?

Nó trả về những gì trang tự nói về mình, không cần selector: JSON-LD, OpenGraph, Twitter Card, microdata, RDFa, metadata trong head và trạng thái ứng dụng nhúng.

Nó có trả về số thay vì văn bản được không?

Có. Dùng một JSON Schema có các thuộc tính kèm selector. Giá trị được chuyển sang kiểu đã khai báo, nên "$1,234.56" trở thành 1234.56, và kết quả được kiểm tra theo schema.

Làm sao để biết khi một trang web đổi bố cục?

Kiểm tra empty_fields trong phản hồi. Nó liệt kê các trường mà selector không khớp với gì, thường là dấu hiệu đầu tiên cho thấy markup đã thay đổi.

Tôi có thể mô tả các trường bằng lời thường thay vì selector không?

Chưa có. Trích xuất bằng prompt cho model sắp ra mắt. Hiện nay, hãy dùng selector, JSON Schema hoặc autoparse.