이제 Spicrawl은 OpenAI Agents SDK, LangChain, Codex, Claude Code 등과 함께 작동합니다.통합 보기
본문으로 건너뛰기

배치 웹 스크래핑 API

한 번의 호출로 최대 10,000개의 URL을 보내세요. 모든 페이지를 깔끔한 데이터로 받습니다.

URL 제출
batch.py
import 요청job = 요청.post(    "https://api.spicrawl.com/v1/batch",    headers="Authorization": "Bearer spicrawl_live_…",    json={        "urls": ["https://example.com/one", "https://example.com/two"],        "js_render": True,    },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])

작동 방식

  1. URL 보내기 POST /v1/batch로 보내세요. 작업 ID를 바로 받습니다.
  2. 작업 확인 상태가 completed, failed, cancelled가 될 때까지 확인하세요.
  3. 결과 읽기 JSON Lines로 한 번에 한 페이지씩 읽으며, X-Next-Cursor를 함께 사용합니다.
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "catalog-refresh",
    "urls": ["https://example.com/products/1", "https://example.com/products/2"],
    "response_format": "markdown"
  }'

키는 SPICRAWL_API_KEY에 보관하세요. 키에는 batch 범위가 필요합니다.

각 항목이 할 수 있는 일

  • 형식: html(기본값), markdown, text 또는 json.
  • 정리: main_content_only, include_tags, exclude_tags는 Markdown과 텍스트에서 작동합니다.
  • JavaScript: 브라우저가 필요한 페이지에는 js_render: true를 설정하세요.
  • URL별 설정: 각 URL에 고유한 설정과 external_id를 주려면 urls 대신 items를 보내세요.

알아 두세요

  • 배치에서는 지원 안 됨: 추출, 스크린샷, 브라우저 작업, 세션. 이를 요청한 작업은 비용이 청구되기 전에 400 오류로 거부됩니다. 해당 페이지에는 단일 스크랩를 사용하세요.
  • 결과 만료 작업이 끝난 뒤 72시간이 지나면 만료됩니다.
  • 크롤링은 지원하지 않습니다. Spicrawl은 URL을 찾거나 링크를 따라가지 않습니다. 목록은 직접 보내야 합니다.
  • 가격: 베타 기간에는 무료입니다. 성공한 각 항목은 단일 스크레이프와 같은 크레딧을 사용합니다.

자주 묻는 질문

배치 작업 하나에 URL을 몇 개까지 넣을 수 있나요?

호출당 최대 10,000개의 URL. urls에 목록으로 보내거나, URL마다 별도 설정이나 일치시킬 수 있는 external_id가 필요하면 items로 보내세요.

배치 작업은 어떤 형식을 반환하나요?

각 항목은 html(기본값), markdown, text, json 중 하나로 반환됩니다. markdown과 text는 단일 스크랩과 같은 변환을 사용합니다.

배치 결과는 얼마나 오래 보관되나요?

For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.

배치 작업에서 필드를 추출하거나 버튼을 클릭할 수 있나요?

아니요. 추출, 스크린샷, 브라우저 작업, 세션은 배치에서 실행되지 않습니다. 이를 요청하는 작업은 비용이 청구되기 전에 400으로 거부됩니다. 해당 페이지에는 단일 스크랩을 사용하세요.

배치로 웹사이트를 크롤링하나요?

아니요. Spicrawl은 URL을 찾거나 링크를 따라가지 않습니다. 원하는 URL 목록을 보내세요.