이제 Spicrawl은 OpenAI Agents SDK, LangChain, Codex, Claude Code 등과 함께 작동합니다.통합 보기
본문으로 건너뛰기

로그인이 필요한 웹사이트 스크랩

한 번 로그인하고 로그인 상태를 유지하세요. API 하나로 계정 페이지를 읽습니다.

Spicrawl 제어판
자동 단계 상승
브라우저
핑거프린트
프록시
관리형 프록시: 곧 제공 예정
세션
작업
에셋 차단
네트워크 캡처
캐시
POST /v1/scrape
{  "url": "https://shop.example/product/1",  "js_render": true,  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",  "cache": true,  "response_format": "markdown"}
응답 헤더 예시
X-Target-Status
200
X-Engine
js
X-Proxy-Source
direct
Cache-State
우회
X-Credits-Charged
3
세션

요청 사이에 쿠키와 스토리지를 유지하므로 로그인이 이어집니다.

예시일 뿐 실제 요청이 아닙니다. 베타는 무료입니다.

요청 사이에 로그인 유지

세션은 읽는 페이지 전체에서 쿠키 저장소를 하나로 공유합니다. 이 예제는 흐름을 보여 주는 것이며, 실제 요청이 아닙니다.

세션 만들기
session.js
const s = await fetch("https://api.spicrawl.com/v1/sessions",   method: "POST",  headers:  Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );

작동 방식

  1. 세션을 만드세요. 응답에서 받은 ID를 보관하세요.
  2. 브라우저 작업으로 로그인하세요. 로그인 요청과 함께 세션 ID를 보내세요.
  3. 계정 페이지를 읽습니다. 같은 ID를 재사용하고, 한 번에 요청 하나씩 보내세요.
  4. 세션 해제 작업이 끝나면.

API 키로 세션을 만들고 관리하려면 sessions 범위가, 세션을 사용하려면 scrape가 필요합니다. 키는 SPICRAWL_API_KEY에 보관하세요.

1. 세션 만들기

curl https://api.spicrawl.com/v1/sessions \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"ttl_seconds": 7200}'

응답에는 id, engine, expires_at, hard_expires_at가 포함됩니다. 쿠키는 절대 포함되지 않습니다. 아래 예시는 샘플 ID를 사용하므로 본인의 ID로 바꾸세요.

2. 작업으로 로그인하기

이 본문을 베어러 토큰과 함께 POST /v1/scrape로 보내세요. 사이트에 맞게 URL과 선택자를 바꾸세요. 본인 소유이거나 사용 권한이 있는 계정의 자격 증명을 사용하세요.

json
{
  "url": "https://example.com/login",
  "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
  "js_render": true,
  "actions": [
    {
      "fill": {
        "selector": "input[name=email]",
        "value": "YOUR_EMAIL"
      }
    },
    {
      "fill": {
        "selector": "input[name=password]",
        "value": "YOUR_PASSWORD",
        "secret": true
      }
    },
    {
      "click": "button[type=submit]"
    },
    {
      "wait_for": ".account-menu"
    }
  ]
}

이메일과 비밀번호 자리 표시자는 실행 시점에 안전하게 교체하세요. 비밀번호 작업은 secret: true를 사용합니다. js_render: true는 유지하세요. 세션 ID만으로는 브라우저 전용 필드를 사용할 수 없습니다.

3. 같은 로그인으로 페이지 읽기

로그인에 성공한 뒤에는 각 스크레이프에 session_id를 전달하세요. 쿠키와 스토리지가 이어집니다. Python과 TypeScript는 생성 단계의 변수를 재사용합니다.

curl https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'

세션 요청은 항상 결과 캐시를 우회합니다. Cache-State: bypass를 확인하세요. 페이지를 새로 가져옵니다.

4. 세션 해제하기

bash
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
  -H "Authorization: Bearer $SPICRAWL_API_KEY"

해제하면 쿠키와 스토리지가 삭제됩니다. 로그인은 유지되지 않습니다. 이후 해당 ID로 보내는 요청은 410 ERR::SESSION::RELEASED를 반환합니다.

세션 옵션

옵션알아 두세요
engine세션이 유지되는 동안 고정됩니다. 스크랩에서 다른 엔진을 선택할 수는 없습니다. 이 항목을 생략했다면 생성 응답을 확인하세요.
ttl_seconds기본값 1,800초, 최소 30초. 스크레이프에 성공하면 수명이 연장되지만 hard_expires_at를 넘지 않습니다.
session_context활성 세션에서 저장한 쿠키와 스토리지를 복원합니다. 저장된 컨텍스트는 1 MiB로 제한됩니다.

해제하기 전에 로그인을 저장하려면 GET /v1/sessions/{id}/context를 읽으세요. 그 상태를 안전하게 보관한 뒤 새 세션을 만들 때 session_context로 전달하세요.

비용

베타 기간 무료. 세션을 만들고, 읽고, 해제하는 데는 비용이 들지 않습니다. 스크랩은 세션의 렌더링 단계에 따라 과금됩니다. fetch는 1 크레딧, js는 3, browser는 8입니다. 사용 중이거나 만료된 세션을 포함한 실패는 0입니다.

알아 두세요

  • 세션당 한 번에 요청 하나. 두 번째 렌더링은 Retry-After와 함께 409 ERR::SESSION::BUSY를 반환합니다. 병렬 작업에는 워커당 세션 하나를 사용하세요.
  • 만료된 세션은 다시 로그인해야 합니다. 알 수 없거나 삭제되었거나 형식이 잘못된 ID는 오류를 반환하며, 세션 없이는 요청이 실행되지 않습니다.
  • 자체 프록시: IP가 바뀔 때 로그인을 챌린지하는 사이트에는 고정 출구를 사용하세요. 관리형 세션 출구는 곧 제공될 예정입니다.
  • 크롤링은 지원하지 않습니다. URL은 사용자가 제공합니다. 관리형 프록시, 스텔스, 원격 브라우저, 프롬프트를 이용한 추출은 곧 제공될 예정입니다.
  • 사용자의 책임: 접근할 권리가 있는 계정과 페이지만 사용하세요. terms을 읽어 보세요.

자주 묻는 질문

로그인이 필요한 웹사이트를 스크랩하려면 어떻게 하나요?

세션을 만들고, 브라우저 작업으로 로그인한 다음, 스크랩할 때마다 그 ID를 session_id로 보내세요. 작업과 기타 브라우저 전용 필드에는 js_render: true를 사용하세요. 접근 권한이 있는 계정과 페이지에만 사용하세요.

세션은 무엇을 유지하나요?

세션은 요청 사이에 쿠키와 브라우저 스토리지를 유지합니다. 엔진은 세션이 유지되는 동안 고정됩니다. 일반 세션 응답에는 쿠키가 포함되지 않으며, 세션이 활성인 동안에는 컨텍스트 엔드포인트가 저장된 상태를 반환합니다.

한 세션에서 많은 요청을 동시에 보낼 수 있나요?

아니요. 세션당 한 번에 요청 하나만 보내세요. 렌더링이 실행되는 동안 두 번째 요청을 보내면 Retry-After와 함께 409 ERR::SESSION::BUSY가 반환됩니다. 병렬 작업에는 워커마다 세션을 하나씩 만드세요.

세션을 해제하면 어떻게 되나요?

해제하면 쿠키와 스토리지가 삭제됩니다. 이후를 위해 로그인이 유지되지는 않습니다. 해제된 ID로 스크랩하면 410 ERR::SESSION::RELEASED가 반환됩니다. 새 세션에서 복원해야 한다면 해제하기 전에 컨텍스트를 저장하세요.

세션은 비용이 얼마인가요?

세션을 만들고, 읽고, 해제하는 데는 비용이 들지 않습니다. 스크랩은 세션이 쓰는 렌더링 단계에 따라 과금됩니다. fetch는 1 크레딧, js는 3, browser는 8입니다. 실패한 요청은 0입니다. Spicrawl은 베타 기간 무료입니다.