Web scraping cho pipeline RAG và LLM
Lấy trang web dưới dạng Markdown sạch, sẵn sàng để chia nhỏ và embed, không có menu, quảng cáo và script.
Tại sao dùng Markdown cho RAG
- Cấu trúc được giữ nguyên. Tiêu đề, danh sách, bảng và code được giữ nguyên, nên bạn có thể tách theo các phần thật thay vì số ký tự tùy ý.
- Ít token hơn nhiều. Sau khi loại bỏ menu, footer và quảng cáo, nội dung chính thường chỉ bằng 3% đến 24% số token của HTML thô.
- Mặc định là nội dung chính. Thu hẹp thêm bằng
include_tagsvàexclude_tags.
Cách hoạt động
- Gửi một URL tới
POST /v1/scrapevớiresponse_format: "markdown". - Chia nhỏ và embed Markdown trong pipeline của chính bạn. Spicrawl không làm bước này.
- Làm mới theo lịch của bạn bằng cách gửi lại cùng các URL. Với nhiều trang, hãy dùng một batch job tới 10,000 URL.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'import os, requests
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
page = requests.post("https://api.spicrawl.com/v1/scrape", headers=H, json={
"url": "https://example.com/docs/getting-started",
"response_format": "markdown",
}, timeout=120)
markdown = page.text
# Split on headings, embed each chunk and store it: your pipeline, your tools.
chunks = markdown.split("\n## ")curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "docs-refresh",
"urls": ["https://example.com/docs/a", "https://example.com/docs/b"],
"response_format": "markdown"
}'Hãy giữ key trong SPICRAWL_API_KEY.
Các nguồn cần nhiều hơn
- Trang JavaScript: đặt
js_render: true. Xem scraping các trang web JavaScript. - PDF: được phân tích thành văn bản thuần khi bạn yêu cầu
markdownhoặctext. PDF dạng quét hoặc bị mã hóa không trả về văn bản. - Trang sau màn hình đăng nhập: hãy dùng session, cho các tài khoản bạn sở hữu hoặc được phép sử dụng.
Nên biết
- Không crawl. Spicrawl không tự tìm URL hay đi theo liên kết. Hãy gửi danh sách, chẳng hạn từ một sitemap.
- Cache: kết quả được cache 48 giờ theo mặc định. Đặt
cache_ttl: 0để lấy mới. Một lần trúng cache được tính phí như lần fetch đã lưu nó. - Giá: miễn phí trong thời gian beta. Một trang thường tốn 1 credit, JavaScript 3, trình duyệt đầy đủ 8. Request thất bại tốn 0.
Câu hỏi thường gặp
Tại sao dùng Markdown cho RAG?
Markdown giữ tiêu đề, danh sách, bảng và code, nên bộ chia nhỏ của bạn có thể tách theo cấu trúc thật. Nó cũng nhỏ hơn nhiều so với HTML thô: bỏ menu, chân trang và quảng cáo, nội dung chính thường chỉ bằng 3% đến 24% số token của HTML.
Spicrawl có chia nhỏ hoặc embed nội dung không?
Không. Spicrawl trả về Markdown sạch. Việc chia nhỏ, embed và lưu vào cơ sở dữ liệu vector diễn ra trong pipeline hoặc framework của riêng bạn.
Làm sao để scrape nhiều trang cho một cơ sở tri thức?
Gửi tối đa 10,000 URL trong một batch job và đọc kết quả dưới dạng JSON Lines. Spicrawl không crawl: bạn gửi danh sách URL, ví dụ từ một sitemap.
Nó có đọc được trang JavaScript và PDF không?
Có. Đặt js_render thành true cho các trang dựng nội dung trong trình duyệt. Một PDF được phân tích thành văn bản thuần khi bạn yêu cầu markdown hoặc text; PDF dạng quét hoặc bị mã hóa không trả về văn bản.
Làm sao để giữ cơ sở tri thức luôn mới?
Chạy lại cùng các URL theo lịch do bạn kiểm soát. Kết quả được cache 48 giờ theo mặc định, nên hãy đặt cache_ttl là 0 khi bạn cần fetch mới. Một cache hit được tính phí như lần fetch đã lưu nó.
Nó tốn bao nhiêu?
Miễn phí trong thời gian beta: 1,000 credit mỗi tháng và không cần thẻ tín dụng. Một trang thường tốn 1 credit, render JavaScript 3 và trình duyệt đầy đủ 8. Request thất bại tốn 0.