모든 웹사이트를 LLM용 깔끔한 Markdown으로 변환
URL을 보내면 페이지의 본문을 Markdown으로 돌려받습니다. 제목, 목록, 링크, 표, 코드가 유지되고, LLM의 토큰을 낭비하게 만드는 탐색 메뉴, 스크립트, 푸터는 제거됩니다.
작동 방식
- URL 보내기 스크레이프 엔드포인트로
response_format: "markdown"와 함께 보내세요. - Spicrawl이 페이지를 가져오고, 요청하면 JavaScript를 렌더링하고 본문만 남깁니다.
- Markdown을 돌려받습니다 프롬프트, RAG 인덱스, 파일에 바로 쓸 수 있도록 응답 본문으로 받습니다.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/blog/pricing-update", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/blog/pricing-update", "response_format": "markdown"},
timeout=120,
)
r.raise_for_status()
markdown = r.text
print(r.headers["X-Target-Status"]) # the site's own statusconst r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/blog/pricing-update", response_format: "markdown" }),
});
if (!r.ok) throw new Error(JSON.stringify(await r.json()));
const markdown = await r.text();spicrawl scrape https://example.com/blog/pricing-update --format markdown키는 SPICRAWL_API_KEY로 한 번 설정하고 커밋하는 코드에는 절대 쓰지 마세요. API의 기본 형식은 HTML이므로 항상 response_format를 설정하세요.
HTML에서 Markdown으로
일반적인 페이지는 몇 개의 문단을 탐색 메뉴, 스크립트, 푸터 마크업으로 감쌉니다. Spicrawl은 콘텐츠와 그 구조를 유지합니다:
<header><nav>… 40 links …</nav></header>
<main>
<article>
<h1>Pricing update for 2026</h1>
<p>From 1 March, the Starter plan includes 50,000 requests per month.</p>
<table>
<tr><th>Plan</th><th>Price</th></tr>
<tr><td>Starter</td><td>$29</td></tr>
<tr><td>Scale</td><td>$199</td></tr>
</table>
</article>
</main>
<footer>… cookie banner, scripts, tracking …</footer># Pricing update for 2026
From 1 March, the Starter plan includes 50,000 requests per month.
| Plan | Price |
|---|---|
| Starter | $29 |
| Scale | $199 |제목, 목록, 링크, 표, 코드 블록은 변환 후에도 유지됩니다. 레이아웃, 스타일, 상호작용 요소는 유지되지 않습니다. 실제 페이지 여섯 개를 측정한 결과에서 Spicrawl의 Markdown은 같은 페이지의 HTML보다 토큰을 53%에서 97% 적게 사용했습니다.
토큰을 줄이는 옵션
| 필드 | 하는 일 |
|---|---|
response_format | markdown는 제목, 링크, 표를 유지하고 text는 모든 Markdown 문법을 제거합니다. |
main_content_only | Markdown에서는 기본으로 켜져 있어 내비게이션, 푸터, 사이드 영역이 제거됩니다. 페이지 전체를 유지하려면 false로 설정하세요. |
include_tags | 유지할 CSS 선택자입니다. 페이지에서 일치하는 부분만 변환됩니다. |
exclude_tags | 쿠키 배너나 관련 글 목록처럼 제거할 CSS 선택자입니다. |
js_render | JavaScript로 만든 콘텐츠를 위해 먼저 브라우저에서 페이지를 로드합니다. |
links | JSON 응답에서 페이지의 링크도 별도 목록으로 함께 반환합니다. |
태그 필터는 변환 전에 실행되므로 제거한 내용은 모델에 전달되지 않습니다:
{
"url": "https://example.com/docs/install",
"response_format": "markdown",
"include_tags": ["article", ".docs-content"],
"exclude_tags": [".cookie-banner", "aside.related"]
}JavaScript 페이지와 PDF
일반 요청(1 크레딧)으로 시작하세요. 결과가 빈 껍데기이거나 로딩 메시지라면 js_render: true(3 크레딧)와 함께 다시 보내 변환 전에 페이지가 브라우저에서 실행되도록 하세요. max_cost를 의도한 단계로 설정하면 요청이 예상보다 더 많은 비용이 들지 않습니다.
URL이 PDF이면 Spicrawl은 정상 가격으로 일반 텍스트로 파싱합니다. 제목과 표는 복원되지 않으며, 스캔하거나 암호화된 PDF는 텍스트를 반환하지 않습니다.
여러 페이지 변환
배치 작업은 호출 한 번에 최대 10,000개의 URL을 받아 병렬로 실행하고, 각각을 Markdown으로 반환할 수 있습니다. 결과는 72시간 동안 보관됩니다.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls": ["https://example.com/1", "https://example.com/2"],
"response_format": "markdown"}'Spicrawl은 보내 주신 URL을 변환합니다. 사이트를 크롤하거나 페이지를 대신 찾아 주지 않으므로, 예를 들어 사이트의 사이트맵에서 URL을 먼저 모으세요.
AI 에이전트에서
에이전트는 Spicrawl MCP 서버를 통해 같은 변환을 호출할 수 있습니다. spicrawl_scrape 도구는 기본적으로 Markdown을 반환합니다. spicrawl CLI는 터미널이나 스크립트에서 같은 일을 합니다.
변환 API와 HTML-to-Markdown 라이브러리 중 무엇이 좋을까요?
이미 HTML이 있다면 Turndown 같은 오픈 소스 라이브러리로 직접 작성한 코드에서 무료로 변환할 수 있습니다. 하지만 페이지를 가져오고, JavaScript를 실행하고, 단순한 요청을 거부하는 페이지를 통과하고, 내비게이션을 제거하는 일은 직접 해야 합니다. Spicrawl은 이 단계를 한 번의 요청으로 처리하며, 여러 사이트의 페이지를 변환할 때 가장 유용합니다.
알아 두세요
- 사이트 상태를 확인하세요. HTTP 상태는 Spicrawl의 상태입니다. 페이지 자체의 상태는
X-Target-Status헤더에 있으며, 403으로 응답하는 사이트도 HTTP 200으로 돌아오고 0 크레딧입니다. - 샘플을 확인하세요. 본문 분리는 대부분의 페이지에서 작동하지만 특이한 레이아웃에서는 일부 내비게이션이 남을 수 있습니다. 수천 개를 인덱싱하기 전에 유형별로 한 페이지씩 확인하세요.
- 가격. 베타 기간에는 신용카드 없이 무료입니다. 일반 요청은 1 크레딧, JavaScript 렌더링은 3, 전체 브라우저 렌더링은 8입니다. Markdown 변환은 추가 비용이 없으며, 실패하거나 차단된 요청은 0 크레딧입니다.
자주 묻는 질문
웹사이트를 Markdown으로 어떻게 변환하나요?
https://api.spicrawl.com/v1/scrape 엔드포인트에 페이지 URL과 markdown으로 설정한 response_format을 담아 POST 요청을 보내세요. 응답 본문이 곧 Markdown입니다. spicrawl CLI(spicrawl scrape URL --format markdown)나 AI 에이전트의 spicrawl_scrape MCP 도구를 사용할 수도 있습니다.
탐색 메뉴, 광고, 푸터를 제거하나요?
예. Markdown에서는 본문 분리가 기본으로 켜져 있어 탐색 메뉴, 푸터, 사이드 콘텐츠가 제거됩니다. include_tags와 exclude_tags로 더 좁히거나, main_content_only를 false로 설정해 페이지 전체를 유지할 수 있습니다. 특이한 레이아웃에서는 일부 탐색 메뉴가 남을 수 있으므로 페이지 유형별로 샘플을 확인하세요.
JavaScript가 많은 페이지도 변환할 수 있나요?
네. js_render를 true로 설정하면 변환 전에 페이지를 브라우저에서 로드합니다. 1 크레딧인 일반 요청으로 시작하고, 일반 결과가 비어 있거나 불완전할 때만 렌더링하세요. 렌더링은 3 크레딧입니다.
PDF를 Markdown으로 변환할 수 있나요?
markdown이나 text를 요청하면 PDF는 일반 가격으로 일반 텍스트로 파싱됩니다. 제목과 표는 복원되지 않으며, 스캔하거나 암호화된 PDF는 텍스트를 반환하지 않습니다.
비용이 얼마인가요?
Spicrawl은 베타 기간 무료이며 신용카드가 필요하지 않습니다. 요청은 크레딧을 사용합니다. 일반 요청은 1, JavaScript 렌더링은 3, 풀 브라우저 렌더링은 8입니다. Markdown 변환에는 추가 비용이 없으며, 실패하거나 차단된 요청은 0입니다.
많은 페이지를 한 번에 변환할 수 있나요?
예. 배치 작업은 호출당 최대 10,000개의 URL을 받아 각각을 Markdown으로 반환할 수 있습니다. Spicrawl은 페이지를 대신 찾아내지 않습니다. 예를 들어 사이트맵에서 가져온 URL처럼 원하는 URL을 보내세요.