배치 웹 스크래핑 API
한 번의 호출로 최대 10,000개의 URL을 보내세요. 모든 페이지를 깔끔한 데이터로 받습니다.
URL 제출
batch.py
import 요청job = 요청.post( "https://api.spicrawl.com/v1/batch", headers="Authorization": "Bearer spicrawl_live_…", json={ "urls": ["https://example.com/one", "https://example.com/two"], "js_render": True, },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])작동 방식
- URL 보내기
POST /v1/batch로 보내세요. 작업 ID를 바로 받습니다. - 작업 확인 상태가
completed,failed,cancelled가 될 때까지 확인하세요. - 결과 읽기 JSON Lines로 한 번에 한 페이지씩 읽으며,
X-Next-Cursor를 함께 사용합니다.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "catalog-refresh",
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown"
}'import os, time, requests
API = "https://api.spicrawl.com"
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
job = requests.post(f"{API}/v1/batch", headers=H, json={
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown",
}, timeout=60).json()
while job["status"] not in ("completed", "failed", "cancelled"):
time.sleep(5)
job = requests.get(f"{API}/v1/batch/{job['id']}", headers=H, timeout=30).json()
results = requests.get(f"{API}/v1/batch/{job['id']}/results", headers=H, timeout=120)
print(results.text) # JSON Lines: one result per linespicrawl batch submit urls.txt --format markdown --wait
spicrawl batch results <job-id> --all -o results.jsonl키는 SPICRAWL_API_KEY에 보관하세요. 키에는 batch 범위가 필요합니다.
각 항목이 할 수 있는 일
- 형식:
html(기본값),markdown,text또는json. - 정리:
main_content_only,include_tags,exclude_tags는 Markdown과 텍스트에서 작동합니다. - JavaScript: 브라우저가 필요한 페이지에는
js_render: true를 설정하세요. - URL별 설정: 각 URL에 고유한 설정과
external_id를 주려면urls대신items를 보내세요.
알아 두세요
- 배치에서는 지원 안 됨: 추출, 스크린샷, 브라우저 작업, 세션. 이를 요청한 작업은 비용이 청구되기 전에 400 오류로 거부됩니다. 해당 페이지에는 단일 스크랩를 사용하세요.
- 결과 만료 작업이 끝난 뒤 72시간이 지나면 만료됩니다.
- 크롤링은 지원하지 않습니다. Spicrawl은 URL을 찾거나 링크를 따라가지 않습니다. 목록은 직접 보내야 합니다.
- 가격: 베타 기간에는 무료입니다. 성공한 각 항목은 단일 스크레이프와 같은 크레딧을 사용합니다.
자주 묻는 질문
배치 작업 하나에 URL을 몇 개까지 넣을 수 있나요?
호출당 최대 10,000개의 URL. urls에 목록으로 보내거나, URL마다 별도 설정이나 일치시킬 수 있는 external_id가 필요하면 items로 보내세요.
배치 작업은 어떤 형식을 반환하나요?
각 항목은 html(기본값), markdown, text, json 중 하나로 반환됩니다. markdown과 text는 단일 스크랩과 같은 변환을 사용합니다.
배치 결과는 얼마나 오래 보관되나요?
For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.
배치 작업에서 필드를 추출하거나 버튼을 클릭할 수 있나요?
아니요. 추출, 스크린샷, 브라우저 작업, 세션은 배치에서 실행되지 않습니다. 이를 요청하는 작업은 비용이 청구되기 전에 400으로 거부됩니다. 해당 페이지에는 단일 스크랩을 사용하세요.
배치로 웹사이트를 크롤링하나요?
아니요. Spicrawl은 URL을 찾거나 링크를 따라가지 않습니다. 원하는 URL 목록을 보내세요.