Web scraping dla potoków RAG i LLM
Pobieraj strony jako czysty Markdown, gotowy do dzielenia na fragmenty i osadzania, bez menu, reklam i skryptów.
Dlaczego Markdown dla RAG
- Struktura zostaje. Nagłówki, listy, tabele i kod zostają, więc możesz dzielić po prawdziwych sekcjach zamiast po dowolnej liczbie znaków.
- Znacznie mniej tokenów. Po usunięciu menu, stopek i reklam główna treść to zwykle od 3% do 24% tokenów surowego HTML.
- Domyślnie główna treść. Zawęź go dalej za pomocą
include_tagsiexclude_tags.
Jak to działa
- Wyślij adres URL na
POST /v1/scrapezresponse_format: "markdown". - Podziel na fragmenty i osadź Markdown we własnym potoku. Spicrawl nie wykonuje tego kroku.
- Odświeżaj według własnego harmonogramu przez ponowne wysłanie tych samych adresów URL. Dla wielu stron użyj jednego zadania batch do 10,000 adresów URL.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'import os, requests
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
page = requests.post("https://api.spicrawl.com/v1/scrape", headers=H, json={
"url": "https://example.com/docs/getting-started",
"response_format": "markdown",
}, timeout=120)
markdown = page.text
# Split on headings, embed each chunk and store it: your pipeline, your tools.
chunks = markdown.split("\n## ")curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "docs-refresh",
"urls": ["https://example.com/docs/a", "https://example.com/docs/b"],
"response_format": "markdown"
}'Trzymaj klucz w SPICRAWL_API_KEY.
Źródła, które potrzebują więcej
- Strony JavaScript: ustaw
js_render: true. Zobacz scrapowanie stron JavaScript. - PDF-y: są parsowane do zwykłego tekstu, gdy poprosisz o
markdownlubtext. Zeskanowane lub zaszyfrowane PDF-y nie zwracają tekstu. - Strony za logowaniem: użyj sesja, dla kont, którymi zarządzasz lub których możesz używać.
Warto wiedzieć
- Bez crawlowania. Spicrawl nie wyszukuje adresów URL ani nie podąża za linkami. Wyślij listę, na przykład z mapy witryny.
- Cache: wyniki są domyślnie cachowane przez 48 godzin. Ustaw
cache_ttl: 0, aby pobrać świeże dane. Trafienie w cache jest rozliczane tak jak pobranie, które je zapisało. - Cennik: bezpłatne w becie. Zwykła strona kosztuje 1 kredyt, JavaScript 3, pełna przeglądarka 8. Nieudane żądania kosztują 0.
Najczęściej zadawane pytania
Dlaczego używać Markdown dla RAG?
Markdown zachowuje nagłówki, listy, tabele i kod, więc Twój chunker może dzielić według prawdziwej struktury. Jest też znacznie mniejszy niż surowy HTML: po usunięciu menu, stopek i reklam główna treść to zwykle od 3% do 24% tokenów HTML.
Czy Spicrawl dzieli treść na fragmenty lub osadza ją?
Nie. Spicrawl zwraca czysty Markdown. Dzielenie go na fragmenty, osadzanie i zapisywanie w bazie wektorowej odbywa się w Twoim własnym potoku lub frameworku.
Jak scrapować wiele stron do bazy wiedzy?
Wyślij do 10,000 adresów URL w jednym zadaniu batch i odczytaj wyniki jako JSON Lines. Spicrawl nie crawluje: wysyłasz listę adresów URL, na przykład z mapy witryny.
Czy potrafi czytać strony JavaScript i pliki PDF?
Tak. Ustaw js_render na true dla stron, które budują treść w przeglądarce. PDF jest parsowany do zwykłego tekstu, gdy poprosisz o markdown lub tekst; zeskanowane lub zaszyfrowane PDF-y nie zwracają tekstu.
Jak utrzymać bazę wiedzy w aktualnym stanie?
Uruchamiaj te same adresy URL ponownie według harmonogramu, który kontrolujesz. Wyniki są domyślnie cache'owane przez 48 godzin, więc ustaw cache_ttl na 0, gdy potrzebujesz świeżego pobrania. Trafienie w cache jest rozliczane jak pobranie, które je zapisało.
Ile to kosztuje?
Bezpłatne w becie: 1,000 kredytów miesięcznie i bez karty kredytowej. Zwykła strona kosztuje 1 kredyt, renderowanie JavaScriptu 3, a pełna przeglądarka 8. Nieudane żądania kosztują 0.