Spicrawl działa teraz z OpenAI Agents SDK, LangChain, Codex, Claude Code i nie tylko.Zobacz integracje
Przejdź do treści

Zamień dowolną stronę na czysty Markdown dla LLM

Wyślij adres URL, dostań główną treść strony jako Markdown: nagłówki, listy, linki, tabele i kod, bez nawigacji, skryptów i stopki, które marnują tokeny LLM.

https://
Format: Markdown Tylko główna treść

Jak to działa

  1. Wyślij adres URL na endpoint scrape z response_format: "markdown".
  2. Spicrawl pobiera stronę, renderując JavaScript, jeśli o to poprosisz, i zachowuje główną treść.
  3. Dostajesz Markdown jako treść odpowiedzi, gotowy do promptu, indeksu RAG lub pliku.
curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'

Ustaw klucz raz w SPICRAWL_API_KEY i nigdy nie wpisuj go w kodzie, który commitujesz. Domyślnym formatem API jest HTML, więc zawsze ustawiaj response_format.

Z HTML do Markdown

Typowa strona opakowuje kilka akapitów w nawigację, skrypty i kod stopki. Spicrawl zachowuje treść i jej strukturę:

html
<header><nav>… 40 links …</nav></header>
<main>
  <article>
    <h1>Pricing update for 2026</h1>
    <p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
    <table>
      <tr><th>Plan</th><th>Price</th></tr>
      <tr><td>Starter</td><td>$29</td></tr>
      <tr><td>Scale</td><td>$199</td></tr>
    </table>
  </article>
</main>
<footer>… cookie banner, scripts, tracking …</footer>
markdown
# Pricing update for 2026

From 1 March, the Starter plan includes 50,000 requests per month.

| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |

Nagłówki, listy, linki, tabele i bloki kodu przetrwają konwersję. Układ, style i elementy interaktywne nie. W nasze pomiary sześciu prawdziwych stron Markdown ze Spicrawl zużył od 53% do 97% mniej tokenów niż HTML tych samych stron.

Opcje, które zmniejszają liczbę tokenów

PoleCo robi
response_formatmarkdown zachowuje nagłówki, linki i tabele; text usuwa całą składnię Markdown.
main_content_onlyDomyślnie włączone dla Markdown: nawigacja, stopki i elementy poboczne są usuwane. Ustaw false, aby zachować całą stronę.
include_tagsSelektory CSS do zachowania. Konwertowane są tylko pasujące części strony.
exclude_tagsSelektory CSS do usunięcia, takie jak banery cookie lub listy powiązanych wpisów.
js_renderNajpierw załaduj stronę w przeglądarce, dla treści tworzonej przez JavaScript.
linksZwróć też linki ze strony jako osobną listę, w odpowiedzi JSON.

Filtry tagów działają przed konwersją, więc to, co usuniesz, nigdy nie trafia do modelu:

json
{
  "url": "https://example.com/docs/install",
  "response_format": "markdown",
  "include_tags": ["article", ".docs-content"],
  "exclude_tags": [".cookie-banner", "aside.related"]
}

Strony JavaScript i PDF

Zacznij od zwykłego żądania (1 kredyt). Jeśli wynik to pusta powłoka lub komunikat ładowania, wyślij je ponownie z js_render: true (3 kredyty), aby strona uruchomiła się w przeglądarce przed konwersją. Ustaw max_cost na zamierzony krok, aby żądanie nigdy nie kosztowało więcej, niż się spodziewasz.

Gdy adres URL to PDF, Spicrawl parsuje go do zwykłego tekstu w normalnej cenie. Nagłówki i tabele nie są odtwarzane, a zeskanowane lub zaszyfrowane pliki PDF nie zwracają tekstu.

Konwertuj wiele stron

Zadanie batch przyjmuje do 10,000 adresów URL na wywołanie, uruchamia je równolegle i może zwrócić każdy jako Markdown. Wyniki są przechowywane przez 72 godziny.

bash
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls": ["https://example.com/1", "https://example.com/2"],
       "response_format": "markdown"}'

Spicrawl konwertuje wysyłane adresy URL. Nie crawluje strony ani nie odkrywa stron za Ciebie, więc najpierw zbierz adresy URL, na przykład z mapy witryny.

Z poziomu agenta AI

Agenci mogą wywołać tę samą konwersję przez Serwer MCP Spicrawl: narzędzie spicrawl_scrape domyślnie zwraca Markdown. CLI spicrawl robi to samo z terminala lub skryptu.

API konwertera czy biblioteka HTML do Markdown?

Jeśli masz już HTML, biblioteka open source, taka jak Turndown, konwertuje go w Twoim własnym kodzie za darmo. Nadal musisz pobrać stronę, uruchomić jej JavaScript, obejść strony odrzucające proste żądania i samodzielnie usunąć nawigację. Spicrawl wykonuje te kroki w jednym żądaniu, co ma największe znaczenie, gdy konwertujesz strony z wielu różnych witryn.

Warto wiedzieć

  • Sprawdź status strony. Status HTTP pochodzi ze Spicrawl. Własny status strony jest w nagłówku X-Target-Status: witryna, która odpowiada 403, nadal wraca jako HTTP 200 i kosztuje 0 kredytów.
  • Sprawdź próbkę. Izolacja głównej treści działa na większości stron, ale na nietypowych układach część nawigacji może zostać. Obejrzyj jedną stronę każdego typu, zanim zaindeksujesz tysiące.
  • Cennik. Bezpłatne w becie, bez karty kredytowej. Zwykłe żądanie to 1 kredyt, renderowanie JavaScriptu 3, renderowanie w pełnej przeglądarce 8. Konwersja do Markdown nic nie dolicza, a nieudane lub zablokowane żądania kosztują 0.

Najczęściej zadawane pytania

Jak zamienić stronę internetową na Markdown?

Wyślij żądanie POST na https://api.spicrawl.com/v1/scrape z adresem URL strony i response_format ustawionym na markdown. Treść odpowiedzi to sam Markdown. Możesz też użyć CLI spicrawl (spicrawl scrape URL --format markdown) lub narzędzia MCP spicrawl_scrape z agenta AI.

Czy usuwa nawigację, reklamy i stopki?

Tak. Dla Markdown izolowanie głównej treści jest domyślnie włączone, więc nawigacja, stopki i elementy aside są usuwane. Możesz zawęzić je dalej za pomocą include_tags i exclude_tags lub ustawić main_content_only na false, aby zachować całą stronę. Część nawigacji może nadal zostać na nietypowych układach, więc sprawdź próbkę każdego typu strony.

Czy potrafi konwertować strony z dużą ilością JavaScriptu?

Tak. Ustaw js_render na true, a strona zostanie załadowana w przeglądarce przed konwersją. Zacznij od zwykłego żądania, które kosztuje 1 kredyt, i renderuj tylko wtedy, gdy zwykły wynik jest pusty lub niepełny; renderowanie kosztuje 3 kredyty.

Czy potrafi konwertować PDF do Markdown?

PDF jest parsowany do zwykłego tekstu, gdy poprosisz o markdown lub tekst, w normalnej cenie. Nagłówki i tabele nie są odtwarzane, a zeskanowane lub zaszyfrowane pliki PDF nie zwracają tekstu.

Ile to kosztuje?

Spicrawl jest bezpłatny w becie, bez karty kredytowej. Żądania zużywają kredyty: 1 za zwykłe żądanie, 3 za renderowanie JavaScriptu i 8 za renderowanie w pełnej przeglądarce. Konwersja do Markdown nic nie dodaje, a nieudane lub zablokowane żądania kosztują 0.

Czy mogę konwertować wiele stron naraz?

Tak. Zadanie batch przyjmuje do 10,000 adresów URL na wywołanie i może zwrócić każdy jako Markdown. Spicrawl nie odkrywa stron za Ciebie: wyślij adresy URL, które chcesz, na przykład z mapy witryny.