Spicrawl nay hoạt động với OpenAI Agents SDK, LangChain, Codex, Claude Code và nhiều hơn nữa.Xem các tích hợp
Chuyển đến nội dung

API web scraping theo batch

Gửi tối đa 10,000 URL trong một lệnh gọi. Nhận lại mọi trang dưới dạng dữ liệu sạch.

Gửi các URL
batch.py
import requestjob = request.post(    "https://api.spicrawl.com/v1/batch",    headers="Authorization": "Bearer spicrawl_live_…",    json={        "urls": ["https://example.com/one", "https://example.com/two"],        "js_render": True,    },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])

Cách hoạt động

  1. Gửi các URL của bạn tới POST /v1/batch. Bạn nhận lại một job ID ngay lập tức.
  2. Kiểm tra job cho đến khi status của nó là completed, failed hoặc cancelled.
  3. Đọc kết quả dưới dạng JSON Lines, từng trang một, kèm X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "catalog-refresh",
    "urls": ["https://example.com/products/1", "https://example.com/products/2"],
    "response_format": "markdown"
  }'

Hãy giữ key trong SPICRAWL_API_KEY. Key của bạn cần scope batch.

Mỗi mục làm được gì

  • Các định dạng: html (mặc định), markdown, text hoặc json.
  • Dọn dẹp: main_content_only, include_tags và exclude_tags hoạt động trên Markdown và text.
  • JavaScript: đặt js_render: true cho các trang cần trình duyệt.
  • Cài đặt theo từng URL: gửi items thay vì urls để mỗi URL có cài đặt riêng và một external_id.

Nên biết

  • Không có trên batch: trích xuất, ảnh chụp màn hình, hành động trình duyệt và session. Một job yêu cầu những thứ này sẽ bị từ chối với lỗi 400 trước khi tính phí. Hãy dùng các lần scrape đơn lẻ cho các trang đó.
  • Kết quả hết hạn 72 giờ sau khi job kết thúc.
  • Không crawl. Spicrawl không tự tìm URL hay đi theo liên kết. Bạn gửi danh sách.
  • Giá: miễn phí trong thời gian beta. Mỗi mục thành công dùng cùng số credit như một scrape đơn.

Câu hỏi thường gặp

Một batch job có thể có bao nhiêu URL?

Tối đa 10,000 URL mỗi lệnh gọi. Gửi chúng dưới dạng một danh sách trong urls, hoặc dưới dạng items khi mỗi URL cần cài đặt riêng hoặc một external_id bạn có thể dùng để đối chiếu.

Một batch job trả về những định dạng nào?

Mỗi mục trả về dưới dạng html (mặc định), markdown, text hoặc json. Markdown và text dùng cùng phép chuyển đổi như một lần scrape đơn lẻ.

Kết quả batch được giữ bao lâu?

For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.

Một batch job có thể trích xuất trường hoặc click nút không?

Không. Trích xuất, ảnh chụp màn hình, hành động trên trình duyệt và session không chạy trên batch. Một job yêu cầu chúng sẽ bị từ chối với lỗi 400 trước khi tính phí. Hãy dùng scrape đơn lẻ cho các trang đó.

Batch có crawl một trang web không?

Không. Spicrawl không tự tìm URL hay theo liên kết. Bạn gửi danh sách URL mình muốn.