Bắt các lệnh gọi API đằng sau một trang web
Nhiều trang tải dữ liệu từ một API. Hãy bắt các lệnh gọi đó và đọc JSON trực tiếp.
Cách hoạt động
- Render trang. Đặt
js_render: true, vì chỉ có trình duyệt mới chụp được. - Chọn các lệnh gọi. Đặt
network_capturethành danh sáchurlscác mẫu, chẳng hạn/api/search. - Đọc phần nội dung. Mỗi lệnh gọi khớp được trả về trong mảng
networkcùng trạng thái, loại và body của nó.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/search?q=desk",
"js_render": true,
"network_capture": { "urls": ["/api/search"] }
}'spicrawl scrape "https://example.com/search?q=desk" --render \
--network-capture '{"urls":["/api/search"]}'Hãy giữ key trong SPICRAWL_API_KEY.
Những gì trả về
Một đoạn trích của phản hồi được ghi trong tài liệu. Nội dung trang chỉ là ví dụ.
{
"status": 200,
"credits": 3,
"network": [
{
"url": "https://example.com/api/search?q=desk&page=1",
"status": 200,
"resource_type": "fetch",
"content_type": "application/json",
"body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
}
]
}Khi nào nên dùng nó
- Trang tự điền nội dung từ một API. JSON thường sạch hơn và ổn định hơn phần markup được dựng từ nó.
- Tìm kiếm, danh sách và feed. Kết quả thường tải dưới dạng một lệnh gọi JSON bạn có thể đọc trọn vẹn.
- Nếu không, hãy dùng trích xuất có cấu trúc với CSS selector hoặc JSON Schema.
Nên biết
- Cần
js_render. Nó không cộng thêm credit nào ngoài 3 credit cho render JavaScript. Request thất bại tốn 0. - Hãy tôn trọng. Chỉ lấy dữ liệu bạn được phép sử dụng, và tuân theo điều khoản của site.
- Giá: miễn phí trong thời gian beta, với 1,000 credit mỗi tháng.
Câu hỏi thường gặp
Bắt network làm gì?
Nó ghi lại các network call mà một trang thực hiện khi tải và trả về những call bạn yêu cầu, gồm cả nội dung phản hồi. Nhờ đó bạn đọc được JSON mà chính trang dùng, thay vì phân tích HTML được vẽ ra từ nó.
Làm sao để chọn lệnh gọi nào cần bắt?
Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.
Nó có cần render JavaScript không?
Có. Bắt chỉ hoạt động khi trang được render trong trình duyệt, nên hãy đặt js_render là true.
Việc bắt network có tốn thêm không?
Không. Nó không cộng thêm credit nào ngoài render JavaScript bạn đã trả, tức 3 credit. Request thất bại tốn 0.
Tôi có nên dùng nó thay vì scrape HTML không?
Khi một trang tự điền nội dung từ một API JSON, đọc JSON đó thường sạch hơn và ổn định hơn so với phân tích markup. Hãy tôn trọng điều khoản của trang và chỉ fetch dữ liệu bạn được phép sử dụng.