Spicrawl działa teraz z OpenAI Agents SDK, LangChain, Codex, Claude Code i nie tylko.Zobacz integracje
Przejdź do treści

Web scraping dla potoków RAG i LLM

Pobieraj strony jako czysty Markdown, gotowy do dzielenia na fragmenty i osadzania, bez menu, reklam i skryptów.

Dlaczego Markdown dla RAG

  • Struktura zostaje. Nagłówki, listy, tabele i kod zostają, więc możesz dzielić po prawdziwych sekcjach zamiast po dowolnej liczbie znaków.
  • Znacznie mniej tokenów. Po usunięciu menu, stopek i reklam główna treść to zwykle od 3% do 24% tokenów surowego HTML.
  • Domyślnie główna treść. Zawęź go dalej za pomocą include_tags i exclude_tags.

Jak to działa

  1. Wyślij adres URL na POST /v1/scrape z response_format: "markdown".
  2. Podziel na fragmenty i osadź Markdown we własnym potoku. Spicrawl nie wykonuje tego kroku.
  3. Odświeżaj według własnego harmonogramu przez ponowne wysłanie tych samych adresów URL. Dla wielu stron użyj jednego zadania batch do 10,000 adresów URL.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/docs/getting-started", "response_format": "markdown"}'

Trzymaj klucz w SPICRAWL_API_KEY.

Źródła, które potrzebują więcej

  • Strony JavaScript: ustaw js_render: true. Zobacz scrapowanie stron JavaScript.
  • PDF-y: są parsowane do zwykłego tekstu, gdy poprosisz o markdown lub text. Zeskanowane lub zaszyfrowane PDF-y nie zwracają tekstu.
  • Strony za logowaniem: użyj sesja, dla kont, którymi zarządzasz lub których możesz używać.

Warto wiedzieć

  • Bez crawlowania. Spicrawl nie wyszukuje adresów URL ani nie podąża za linkami. Wyślij listę, na przykład z mapy witryny.
  • Cache: wyniki są domyślnie cachowane przez 48 godzin. Ustaw cache_ttl: 0, aby pobrać świeże dane. Trafienie w cache jest rozliczane tak jak pobranie, które je zapisało.
  • Cennik: bezpłatne w becie. Zwykła strona kosztuje 1 kredyt, JavaScript 3, pełna przeglądarka 8. Nieudane żądania kosztują 0.

Najczęściej zadawane pytania

Dlaczego używać Markdown dla RAG?

Markdown zachowuje nagłówki, listy, tabele i kod, więc Twój chunker może dzielić według prawdziwej struktury. Jest też znacznie mniejszy niż surowy HTML: po usunięciu menu, stopek i reklam główna treść to zwykle od 3% do 24% tokenów HTML.

Czy Spicrawl dzieli treść na fragmenty lub osadza ją?

Nie. Spicrawl zwraca czysty Markdown. Dzielenie go na fragmenty, osadzanie i zapisywanie w bazie wektorowej odbywa się w Twoim własnym potoku lub frameworku.

Jak scrapować wiele stron do bazy wiedzy?

Wyślij do 10,000 adresów URL w jednym zadaniu batch i odczytaj wyniki jako JSON Lines. Spicrawl nie crawluje: wysyłasz listę adresów URL, na przykład z mapy witryny.

Czy potrafi czytać strony JavaScript i pliki PDF?

Tak. Ustaw js_render na true dla stron, które budują treść w przeglądarce. PDF jest parsowany do zwykłego tekstu, gdy poprosisz o markdown lub tekst; zeskanowane lub zaszyfrowane PDF-y nie zwracają tekstu.

Jak utrzymać bazę wiedzy w aktualnym stanie?

Uruchamiaj te same adresy URL ponownie według harmonogramu, który kontrolujesz. Wyniki są domyślnie cache'owane przez 48 godzin, więc ustaw cache_ttl na 0, gdy potrzebujesz świeżego pobrania. Trafienie w cache jest rozliczane jak pobranie, które je zapisało.

Ile to kosztuje?

Bezpłatne w becie: 1,000 kredytów miesięcznie i bez karty kredytowej. Zwykła strona kosztuje 1 kredyt, renderowanie JavaScriptu 3, a pełna przeglądarka 8. Nieudane żądania kosztują 0.