브라우저 작업먼저 클릭, 입력, 스크롤
스크랩하기 전에 클릭, 입력, 스크롤
메뉴를 열고, 폼을 채우고, 더 보기를 불러오세요. 그런 다음 페이지를 읽습니다.
- 1클릭메뉴를 열거나 “Load more” 누르기
- 2입력폼이나 검색창 채우기
- 3스크롤피드의 나머지 불러오기
- 4읽기페이지를 Markdown으로 가져오기
요청 보내기
actions.sh
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com", "js_render": true, "response_format": "markdown", "actions": [ { "click": "#accept" }, { "fill": { "selector": "#search", "value": "shoes" } }, { "scroll": { "y": 800 } } ] }'작동 방식
- 렌더링 켜기
js_render: true로 켜세요. 작업에는 브라우저가 필요합니다. - 단계 나열하기
actions에 나열하세요. 페이지가 로드된 뒤 순서대로 실행됩니다. - 페이지 가져오기 마지막 단계 이후의 모습 그대로, 선택한 형식으로 받습니다.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products?category=lamps",
"js_render": true,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"}
]
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products?category=lamps",
"js_render": True,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"},
],
},
timeout=180,
)
print(r.text)spicrawl scrape "https://example.com/products?category=lamps" --render --format markdown \
--actions '[{"click":"button.load-more"},{"wait_for":".product-card:nth-child(40)"}]'사용할 수 있는 단계
| 단계 | 하는 일 |
|---|---|
wait_for | 요소 또는 지정한 시간을 기다립니다 |
click | 버튼이나 링크를 클릭합니다 |
fill | 입력란에 입력합니다. 로그에서 값을 숨기려면 secret: true를 추가하세요 |
select | 목록에서 옵션을 선택합니다 |
scroll | 페이지를 스크롤합니다. 스크롤할수록 더 불러오는 피드에 사용합니다 |
evaluate | 페이지에서 자체 JavaScript를 실행합니다 |
screenshot | 해당 단계에서 페이지의 이미지를 저장합니다 |
알아 두세요
- 최대 50단계 요청당 적용됩니다. 비용을 쓰기 전에 전체 목록을 먼저 검사합니다.
- 브라우저 전용.
js_render없이 요청하면 400 오류로 거부됩니다. - 배치에서는 지원 안 됨. 작업은 단일 스크레이프에서만 실행됩니다.
- 로그인: 본인 소유이거나 사용 권한이 있는 계정에만 로그인하세요. 로그인 상태를 유지하려면 session을 사용하세요.
- 가격: 베타 기간에는 무료입니다. 작업은 전체 브라우저 렌더링에서 실행되며 8 크레딧입니다.
자주 묻는 질문
브라우저 작업으로 무엇을 할 수 있나요?
요소를 기다리고, 탐색을 기다리고, 클릭하고, 입력란을 채우고, 옵션을 선택하고, 스크롤하고, JavaScript를 실행하고, 스크린샷을 찍습니다. 페이지가 로드된 후 단계가 순서대로 실행됩니다.
요청 하나에 몇 단계까지 넣을 수 있나요?
최대 50개. 목록 전체가 요청이 실행되기 전에 검증되므로 실수는 일찍 실패하고 비용이 들지 않습니다.
브라우저 작업에 JavaScript 렌더링이 필요한가요?
예. 작업은 브라우저에서 실행되므로 js_render를 true로 설정하세요. 설정하지 않으면 요청이 400 오류로 거부됩니다.
비밀번호를 안전하게 입력할 수 있나요?
예. fill 단계에 secret을 true로 설정하면 값이 로그에서 숨겨집니다. 본인 소유이거나 사용 권한이 있는 계정에만 로그인하세요.
단계를 실행한 뒤 스크린샷을 받을 수 있나요?
예. screenshot 단계를 추가하세요. 그러면 응답이 JSON 엔벨로프가 되고 이미지는 screenshots 아래에 담깁니다.