Zamień dowolną stronę na czysty Markdown dla LLM
Wyślij adres URL, dostań główną treść strony jako Markdown: nagłówki, listy, linki, tabele i kod, bez nawigacji, skryptów i stopki, które marnują tokeny LLM.
Jak to działa
- Wyślij adres URL na endpoint scrape z
response_format: "markdown". - Spicrawl pobiera stronę, renderując JavaScript, jeśli o to poprosisz, i zachowuje główną treść.
- Dostajesz Markdown jako treść odpowiedzi, gotowy do promptu, indeksu RAG lub pliku.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/blog/pricing-update", "response_format": "markdown"},
timeout=120,
)
r.raise_for_status()
markdown = r.text
print(r.headers["X-Target-Status"]) # the site's own statusconst r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/blog/pricing-update", response_format: "markdown" }),
});
if (!r.ok) throw new Error(JSON.stringify(await r.json()));
const markdown = await r.text();spicrawl scrape https://example.com/blog/pricing-update --format markdownUstaw klucz raz w SPICRAWL_API_KEY i nigdy nie wpisuj go w kodzie, który commitujesz. Domyślnym formatem API jest HTML, więc zawsze ustawiaj response_format.
Z HTML do Markdown
Typowa strona opakowuje kilka akapitów w nawigację, skrypty i kod stopki. Spicrawl zachowuje treść i jej strukturę:
<header><nav>… 40 links …</nav></header>
<main>
<article>
<h1>Pricing update for 2026</h1>
<p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
<table>
<tr><th>Plan</th><th>Price</th></tr>
<tr><td>Starter</td><td>$29</td></tr>
<tr><td>Scale</td><td>$199</td></tr>
</table>
</article>
</main>
<footer>… cookie banner, scripts, tracking …</footer># Pricing update for 2026
From 1 March, the Starter plan includes 50,000 requests per month.
| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |Nagłówki, listy, linki, tabele i bloki kodu przetrwają konwersję. Układ, style i elementy interaktywne nie. W nasze pomiary sześciu prawdziwych stron Markdown ze Spicrawl zużył od 53% do 97% mniej tokenów niż HTML tych samych stron.
Opcje, które zmniejszają liczbę tokenów
| Pole | Co robi |
|---|---|
response_format | markdown zachowuje nagłówki, linki i tabele; text usuwa całą składnię Markdown. |
main_content_only | Domyślnie włączone dla Markdown: nawigacja, stopki i elementy poboczne są usuwane. Ustaw false, aby zachować całą stronę. |
include_tags | Selektory CSS do zachowania. Konwertowane są tylko pasujące części strony. |
exclude_tags | Selektory CSS do usunięcia, takie jak banery cookie lub listy powiązanych wpisów. |
js_render | Najpierw załaduj stronę w przeglądarce, dla treści tworzonej przez JavaScript. |
links | Zwróć też linki ze strony jako osobną listę, w odpowiedzi JSON. |
Filtry tagów działają przed konwersją, więc to, co usuniesz, nigdy nie trafia do modelu:
{
"url": "https://example.com/docs/install",
"response_format": "markdown",
"include_tags": ["article", ".docs-content"],
"exclude_tags": [".cookie-banner", "aside.related"]
}Strony JavaScript i PDF
Zacznij od zwykłego żądania (1 kredyt). Jeśli wynik to pusta powłoka lub komunikat ładowania, wyślij je ponownie z js_render: true (3 kredyty), aby strona uruchomiła się w przeglądarce przed konwersją. Ustaw max_cost na zamierzony krok, aby żądanie nigdy nie kosztowało więcej, niż się spodziewasz.
Gdy adres URL to PDF, Spicrawl parsuje go do zwykłego tekstu w normalnej cenie. Nagłówki i tabele nie są odtwarzane, a zeskanowane lub zaszyfrowane pliki PDF nie zwracają tekstu.
Konwertuj wiele stron
Zadanie batch przyjmuje do 10,000 adresów URL na wywołanie, uruchamia je równolegle i może zwrócić każdy jako Markdown. Wyniki są przechowywane przez 72 godziny.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls": ["https://example.com/1", "https://example.com/2"],
"response_format": "markdown"}'Spicrawl konwertuje wysyłane adresy URL. Nie crawluje strony ani nie odkrywa stron za Ciebie, więc najpierw zbierz adresy URL, na przykład z mapy witryny.
Z poziomu agenta AI
Agenci mogą wywołać tę samą konwersję przez Serwer MCP Spicrawl: narzędzie spicrawl_scrape domyślnie zwraca Markdown. CLI spicrawl robi to samo z terminala lub skryptu.
API konwertera czy biblioteka HTML do Markdown?
Jeśli masz już HTML, biblioteka open source, taka jak Turndown, konwertuje go w Twoim własnym kodzie za darmo. Nadal musisz pobrać stronę, uruchomić jej JavaScript, obejść strony odrzucające proste żądania i samodzielnie usunąć nawigację. Spicrawl wykonuje te kroki w jednym żądaniu, co ma największe znaczenie, gdy konwertujesz strony z wielu różnych witryn.
Warto wiedzieć
- Sprawdź status strony. Status HTTP pochodzi ze Spicrawl. Własny status strony jest w nagłówku
X-Target-Status: witryna, która odpowiada 403, nadal wraca jako HTTP 200 i kosztuje 0 kredytów. - Sprawdź próbkę. Izolacja głównej treści działa na większości stron, ale na nietypowych układach część nawigacji może zostać. Obejrzyj jedną stronę każdego typu, zanim zaindeksujesz tysiące.
- Cennik. Bezpłatne w becie, bez karty kredytowej. Zwykłe żądanie to 1 kredyt, renderowanie JavaScriptu 3, renderowanie w pełnej przeglądarce 8. Konwersja do Markdown nic nie dolicza, a nieudane lub zablokowane żądania kosztują 0.
Najczęściej zadawane pytania
Jak zamienić stronę internetową na Markdown?
Wyślij żądanie POST na https://api.spicrawl.com/v1/scrape z adresem URL strony i response_format ustawionym na markdown. Treść odpowiedzi to sam Markdown. Możesz też użyć CLI spicrawl (spicrawl scrape URL --format markdown) lub narzędzia MCP spicrawl_scrape z agenta AI.
Czy usuwa nawigację, reklamy i stopki?
Tak. Dla Markdown izolowanie głównej treści jest domyślnie włączone, więc nawigacja, stopki i elementy aside są usuwane. Możesz zawęzić je dalej za pomocą include_tags i exclude_tags lub ustawić main_content_only na false, aby zachować całą stronę. Część nawigacji może nadal zostać na nietypowych układach, więc sprawdź próbkę każdego typu strony.
Czy potrafi konwertować strony z dużą ilością JavaScriptu?
Tak. Ustaw js_render na true, a strona zostanie załadowana w przeglądarce przed konwersją. Zacznij od zwykłego żądania, które kosztuje 1 kredyt, i renderuj tylko wtedy, gdy zwykły wynik jest pusty lub niepełny; renderowanie kosztuje 3 kredyty.
Czy potrafi konwertować PDF do Markdown?
PDF jest parsowany do zwykłego tekstu, gdy poprosisz o markdown lub tekst, w normalnej cenie. Nagłówki i tabele nie są odtwarzane, a zeskanowane lub zaszyfrowane pliki PDF nie zwracają tekstu.
Ile to kosztuje?
Spicrawl jest bezpłatny w becie, bez karty kredytowej. Żądania zużywają kredyty: 1 za zwykłe żądanie, 3 za renderowanie JavaScriptu i 8 za renderowanie w pełnej przeglądarce. Konwersja do Markdown nic nie dodaje, a nieudane lub zablokowane żądania kosztują 0.
Czy mogę konwertować wiele stron naraz?
Tak. Zadanie batch przyjmuje do 10,000 adresów URL na wywołanie i może zwrócić każdy jako Markdown. Spicrawl nie odkrywa stron za Ciebie: wyślij adresy URL, które chcesz, na przykład z mapy witryny.