Spicrawl nay hoạt động với OpenAI Agents SDK, LangChain, Codex, Claude Code và nhiều hơn nữa.Xem các tích hợp
Chuyển đến nội dung

Câu hỏi thường gặp

Trả lời nhanh về Spicrawl, từ giá đến proxy.

Tất cả câu hỏi

Chung

Spicrawl là gì?

Spicrawl là một API web scraping biến mọi URL thành Markdown, HTML, PDF hoặc JSON có cấu trúc sạch cho code hoặc AI agent của bạn, qua API, CLI hoặc MCP server.

Spicrawl có miễn phí không?

Có. Nó miễn phí trong beta, với 1,000 credit mỗi tháng và không cần thẻ tín dụng.

Spicrawl nghĩa là gì?

Cái tên ghép "spider" và "crawl", đó là lý do logo của chúng tôi là một con nhện. Tên được đánh vần S-P-I-C-R-A-W-L. Spicrawl là một API web scraping: bạn gửi các URL muốn lấy, và nó trả về dữ liệu sạch.

Tại sao không dùng web fetch tích hợp sẵn của trợ lý AI của tôi?

Các tool fetch tích hợp sẵn đủ cho một cái nhìn nhanh, nhưng chúng thường trả về văn bản thô hoặc bị cắt cụt và có thể không chạy JavaScript. Spicrawl trả về Markdown hoặc JSON sạch, render JavaScript khi trang cần, giữ session đăng nhập, chạy click và nhập biểu mẫu, và gộp tối đa 10,000 URL trong một job. Agent của bạn nhận nội dung của trang, không phải menu và script của nó.

Web scraping có hợp pháp không?

Còn tùy vào những gì bạn thu thập, bạn ở đâu và cách bạn sử dụng. Scraping các trang công khai là phổ biến, nhưng bạn có trách nhiệm tuân thủ điều khoản của từng trang, bản quyền và luật bảo vệ dữ liệu như GDPR, đặc biệt với dữ liệu cá nhân. Nếu không chắc, hãy hỏi luật sư về trường hợp cụ thể của bạn.

Scraping và dữ liệu

Tôi có thể scrape các trang web JavaScript không?

Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.

Spicrawl có vượt được cơ chế chống bot như Cloudflare không?

Thường là được, nhưng không phải lúc nào cũng vậy. Hãy dùng fingerprint trình duyệt thật, render bằng trình duyệt hoặc proxy của riêng bạn. Một bot challenge trả về một lỗi rõ ràng và không tốn gì. Chế độ stealth và proxy được quản lý chưa có trong beta.

Làm sao để biến một trang web thành Markdown cho LLM?

Gửi URL với response_format đặt là markdown. Spicrawl trả về nội dung chính của trang dưới dạng Markdown, đã bỏ menu, chân trang và phần aside, thường chỉ tốn một phần nhỏ số token của HTML thô. Nó cũng phân tích PDF, và chuyển đổi Markdown không tốn thêm.

Tôi có thể trích xuất dữ liệu có cấu trúc dưới dạng JSON không?

Có, theo ba cách: autoparse đọc metadata của chính trang, một bản đồ selector lấy đúng các trường, và một JSON Schema với selector trả về đầu ra có kiểu và đã được xác thực. Cả ba đều miễn phí ngoài giá engine. Trích xuất từ một mô tả bằng ngôn ngữ thường, dùng một model, sắp ra mắt.

Tôi có thể scrape nhiều URL cùng lúc không?

Có. Một batch job nhận tối đa 10,000 URL mỗi lệnh gọi và chạy song song. Bạn kiểm tra tiến độ, rồi tải kết quả dưới dạng JSON Lines. Kết quả được giữ 72 giờ.

Tôi có thể giữ một session đăng nhập không?

Có. Tạo một session và truyền id của nó trong mỗi request để dùng lại cùng cookie, storage của trình duyệt và IP thoát, để đăng nhập được giữ giữa các trang. Một tổ chức có thể giữ tối đa 100 session đang hoạt động cùng lúc.

Tôi có thể tự động hóa click và biểu mẫu không?

Có. Hành động trên trình duyệt có thể click, nhập, chọn, cuộn, chờ và chạy JavaScript trên một trang đã render trước khi nó được chụp, với tối đa 50 bước mỗi request.

Tôi có thể dùng proxy không?

Có. Dùng proxy của riêng bạn, không phụ phí proxy. Proxy được quản lý và nhắm theo quốc gia tích hợp sắp ra mắt và chưa có trong beta.

AI agent và lập trình viên

Tôi có thể dùng Spicrawl với AI agent không?

Có. MCP server được lưu trữ sẵn cho phép Claude Code, Cursor và Codex scrape trang, chạy batch, dùng lại session và chạy hành động trên trình duyệt. Chạy spicrawl init để thiết lập.

Tôi có thể dùng những ngôn ngữ lập trình nào?

Mọi ngôn ngữ có thể gửi một HTTP request. Tài liệu có ví dụ bằng cURL, Python và TypeScript, và có một SDK JavaScript và TypeScript trên npm (@spicrawl/sdk) cho Node.js 18 trở lên. CLI spicrawl chạy được từ mọi shell hoặc script.

Có CLI hay dashboard không?

Cả hai. Một CLI bao gồm scraping, batch, session, log và mức dùng, còn dashboard có playground, log hoạt động, mức dùng và quản lý key.

Credit và giới hạn

Request thất bại có tốn credit không?

Không. Chỉ request thành công mới tốn credit: 1 cho request thường, 3 cho render JavaScript và 8 cho trình duyệt đầy đủ. Lỗi, bot challenge và timeout là miễn phí.

Có giới hạn tốc độ không?

Có. Mỗi API key có một tốc độ request, mỗi tổ chức có giới hạn số request chạy cùng lúc, và có mức credit cho phép hằng tháng. Mọi phản hồi đều báo giới hạn hiện tại của bạn trong header, và một request bị từ chối vì giới hạn không tốn gì.

Vẫn bị kẹt? Đọc tài liệu hoặc gửi email tới support@spicrawl.com.