JavaScript 웹사이트 스크랩
JavaScript가 필요한 URL을 보내면 깔끔한 Markdown이나 JSON으로 페이지를 돌려받습니다.
{ "url": "https://shop.example/product/1", "js_render": true, "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- 적중
- X-Credits-Charged
- 3
일반 요청으로 시작하고, 사이트가 차단할 때만 브라우저로 올라갑니다. 차단된 요청은 비용이 없습니다.
페이지를 읽기 전에 실제 브라우저에서 JavaScript를 렌더링합니다.
일반 요청은 실제 브라우저의 TLS 및 HTTP/2 핑거프린트를 사용합니다.
직접 연결 또는 자체 프록시를 추가 요금 없이 사용할 수 있습니다.
요청 사이에 쿠키와 스토리지를 유지하므로 로그인이 이어집니다.
페이지를 읽기 전에 클릭, 입력, 스크롤하고 JavaScript를 실행합니다.
이미지, 글꼴, 미디어를 건너뛰어 더 빠르게 로드합니다.
페이지가 로드되는 동안 보내는 API 호출을 기록합니다.
기본적으로 48시간 동안 켜져 있습니다. 반복 요청은 더 빠르며 같은 금액이 과금됩니다.
필요한 형식으로 받는 렌더링된 페이지
페이지 콘텐츠가 Markdown, JSON, HTML로 바뀌는 과정을 확인하세요. 이 예제는 출력만 보여 주며 실제 요청이 아닙니다.


# Wireless Mouse — Model X**$49.00** · 재고 있음 · 4.6 (리뷰 1,284개)-latency 2.4 GHz 수신기, 70-day 배터리 수명, 그리고 무인 설치 옵션.| Spec | Value || --------- | ------------ || 연결 | 2.4 GHz, BT5 || 배터리 | 70일 |메뉴, 푸터, 광고를 제거하면 원본 HTML 토큰의 3%에서 24%입니다. 예시 페이지.
전체 응답: 상태, URL, 엔진, 데이터. 예시 페이지.
페이지 정보, CSS 규칙 또는 선택자가 있는 JSON Schema. 예시 페이지.
풀 브라우저 렌더링에서 페이지에 실행할 단계.
작동 방식
- 페이지 URL 보내기
POST /v1/scrape로js_render: true와 함께 보내세요. - 콘텐츠를 기다립니다.
wait_for를.price같은 CSS 선택자로 설정하세요. - 렌더링된 페이지 가져오기 선택한 형식으로 받습니다. 아래 예시는 Markdown을 반환합니다.
curl -sS -D - https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/products/42", "js_render": true, "wait_for": ".price", "response_format": "markdown"}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={"url": "https://example.com/products/42", "js_render": True, "wait_for": ".price", "response_format": "markdown"},
timeout=180,
)
print("site status:", r.headers.get("X-Target-Status"))
print(r.text)const r = await fetch("https://api.spicrawl.com/v1/scrape", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({ url: "https://example.com/products/42", js_render: true, wait_for: ".price", response_format: "markdown" }),
});
console.log("site status:", r.headers.get("X-Target-Status"));
console.log(await r.text());spicrawl scrape https://example.com/products/42 --render --wait-for .price --format markdown --meta키는 SPICRAWL_API_KEY에 보관하세요. 브라우저 코드나 커밋하는 파일에는 절대 넣지 마세요.
JavaScript를 렌더링해야 하는 경우
일반 요청은 스크립트를 실행하지 않고 HTML을 내려받습니다. 결과가 빈 껍데기이거나 “Loading…” 메시지라면 페이지에 JavaScript가 필요할 수 있습니다. 읽기 전에 브라우저에서 실행하려면 js_render: true를 설정하세요.
이미 HTML에 있는 콘텐츠에는 일반 요청을 사용하세요. 브라우저 작업, 리소스 차단, 네트워크 캡처에도 렌더링이 필요합니다.
올바른 콘텐츠를 기다리기
| 옵션 | 하는 일 |
|---|---|
wait_for | 캡처 전에 CSS 선택자가 나타나기를 기다립니다. |
wait_for_timeout | 대기 한도를 0에서 120,000ms 사이로 설정하세요. wait_for가 필요하며, 0을 지정하면 기본값을 사용합니다. |
wait | 로드 후 0에서 30,000 ms 사이의 고정 지연을 추가합니다. 가능하면 선택자를 쓰는 것이 좋습니다. |
block_resources | 건너뛸 에셋을 선택하세요. 이미지와 글꼴은 기본적으로 차단되며, 작업과 캡처에는 예외가 적용됩니다. |
response_format | 페이지 콘텐츠의 형식을 Markdown, JSON, HTML 중에서 고르세요. |
명시적인 리소스 목록은 기본값을 대체합니다. 아무것도 차단하지 않으려면 ["none"]를 사용하세요. 페이지가 콘텐츠를 만드는 데 필요한 스크립트는 차단하지 마세요.
결과 확인
HTTP/2 200
content-type: text/markdown; charset=utf-8
x-target-status: 200
x-engine: js
x-credits-charged: 3X-Engine는 어떤 렌더링 단계(fetch, js, browser)가 실행되었는지 알려 줍니다. X-Target-Status는 사이트의 상태이고 X-Credits-Charged는 청구된 크레딧을 보여 줍니다.
wait_for가 끝내 일치하지 않으면 페이지가 X-Warning: RENDER_DEGRADED와 함께 현재 상태 그대로 돌아올 수 있습니다. 사용하기 전에 내용과 경고를 확인하세요.
렌더링 단계와 비용
- 베타 기간 무료. 크레딧에는 각 요청의 비용이 표시됩니다.
- JavaScript 렌더링:
js_render: true는 성공한 요청당 3 크레딧입니다. - 풀 브라우저 렌더링: 8 크레딧입니다. 스크린샷, PDF, 작업에 사용되며 Spicrawl이 요청을 알아서 이쪽으로 보냅니다. 배포 환경에서 기본 단계를 제공할 수 없으면 한 단계 위를 사용하고
X-Warning: ENGINE_SUBSTITUTED를 반환할 수 있으며, 더 높은 가격을 거부하려면max_cost를 설정하세요. - 단계는 직접 고르지 않습니다. Spicrawl이 요청에 필요한 것에 따라 고르고, 처리한 단계의 요금을 청구합니다.
- 실패는 0입니다. 대기와 리소스 차단에는 추가 요금이 없습니다. 요청에 상한을 두려면
max_cost를 설정하세요.
알아 두세요
- 렌더링 또는 auto 모드를 선택하세요.
mode: "auto"는js_render와 함께 사용할 수 없습니다. 먼저 fetch로 시작해 JavaScript 렌더링, 다시 전체 브라우저 렌더링 순으로 올라가며, 이전 단계가 챌린지에 막힐 때만 다음 단계로 넘어갑니다. - 브라우저 플래그에는 브라우저가 필요합니다.
js_render없이wait_for, 작업, 리소스 차단을 보내면 오류가 반환됩니다. - 크롤링은 지원하지 않습니다. 원하는 URL을 보내세요. Spicrawl은 페이지를 찾거나 링크를 따라가지 않습니다.
- 곧 제공 예정: 관리형 프록시, 스텔스 모드, 원격 브라우저, 일반 문장 프롬프트를 이용한 추출.
- 사용자의 책임: 사용할 권리가 있는 페이지만 가져오세요. terms을 읽어 보세요.
자주 묻는 질문
JavaScript 웹사이트를 스크랩하려면 어떻게 하나요?
js_render를 true로 설정하고 페이지 URL을 POST https://api.spicrawl.com/v1/scrape 로 보내세요. Spicrawl이 페이지를 읽기 전에 브라우저가 스크립트를 실행합니다. Markdown, JSON, HTML 중 원하는 response_format을 선택하세요.
콘텐츠가 로드될 때까지 기다리려면 어떻게 하나요?
wait_for를 .price 같은 CSS 선택자로 설정하세요. wait_for_timeout으로 최대 120000밀리초까지 타임아웃을 설정할 수 있습니다. 선택자가 끝내 일치하지 않으면 페이지가 X-Warning: RENDER_DEGRADED와 함께 그 시점 그대로 반환될 수 있습니다. 결과를 사용하기 전에 경고를 확인하세요.
JavaScript 렌더링은 비용이 얼마인가요?
Spicrawl은 베타 기간에 무료입니다. JavaScript 렌더링에 성공하면 3 크레딧, 전체 브라우저 렌더링은 8 크레딧을 사용합니다. 배포 환경에서 JavaScript 렌더링을 제공할 수 없으면 js_render가 전체 브라우저 렌더링으로 처리되어 그 가격으로 청구될 수 있습니다. 실패한 요청은 0 크레딧입니다. 무엇이 실행되었는지는 X-Engine(fetch, js 또는 browser)과 X-Credits-Charged로 확인하세요.
JavaScript 렌더링과 auto 모드를 함께 쓸 수 있나요?
아니요. mode: auto는 js_render와 함께 사용할 수 없습니다. auto 모드는 일반 요청으로 시작해, 결과를 쓸 수 없을 때 JavaScript 렌더링, 그다음 풀 브라우저 렌더링으로 올라갑니다. JavaScript가 필요하다고 알고 있는 페이지에는 대신 js_render: true를 사용하세요.
JavaScript 웹사이트를 크롤할 수 있나요?
아니요. Spicrawl은 URL을 찾거나 링크를 따라가지 않습니다. 읽고 싶은 페이지 URL을 보내세요. 사용할 권리가 있는 페이지만 가져오세요.