웹 페이지 뒤의 API 호출 캡처
많은 페이지가 API에서 데이터를 불러옵니다. 그 호출을 캡처해 JSON을 직접 읽으세요.
작동 방식
- 페이지를 렌더링합니다. 캡처는 브라우저에서만 실행되므로
js_render: true를 설정하세요. - 호출을 고르세요.
network_capture를/api/search같은 패턴의urls목록으로 설정하세요. - 본문을 읽습니다. 일치하는 각 호출은 상태, 유형, 본문과 함께
network배열에 담겨 돌아옵니다.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/search?q=desk",
"js_render": true,
"network_capture": { "urls": ["/api/search"] }
}'spicrawl scrape "https://example.com/search?q=desk" --render \
--network-capture '{"urls":["/api/search"]}'키는 SPICRAWL_API_KEY에 보관하세요.
돌려받는 것
문서화된 응답의 일부입니다. 페이지 내용은 예시입니다.
{
"status": 200,
"credits": 3,
"network": [
{
"url": "https://example.com/api/search?q=desk&page=1",
"status": 200,
"resource_type": "fetch",
"content_type": "application/json",
"body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
}
]
}사용해야 하는 경우
- 페이지가 API에서 스스로 채워집니다. 그 JSON이 거기서 만들어진 마크업보다 대체로 깔끔하고 안정적입니다.
- 검색, 목록, 피드. 결과는 한 번에 통째로 읽을 수 있는 JSON 호출 하나로 로드되는 경우가 많습니다.
- 그렇지 않으면, CSS 선택자나 JSON Schema와 함께 구조화된 추출을 사용하세요.
알아 두세요
js_render가 필요합니다. JavaScript 렌더링의 3 크레딧에 추가 크레딧이 붙지 않습니다. 실패한 요청은 0 크레딧입니다.- 예의를 지키세요. 사용이 허용된 데이터만 가져오고 사이트의 약관을 따르세요.
- 가격: 베타 기간에는 무료이며 월 1,000 크레딧을 제공합니다.
자주 묻는 질문
네트워크 캡처는 무엇을 하나요?
페이지가 로드되는 동안 발생하는 네트워크 호출을 기록하고, 요청한 호출을 응답 본문과 함께 반환합니다. 페이지가 그리는 HTML을 파싱하는 대신 페이지 자체가 사용하는 JSON을 읽을 수 있습니다.
캡처할 호출은 어떻게 고르나요?
Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.
JavaScript 렌더링이 필요한가요?
예. 캡처는 페이지가 브라우저에서 렌더링될 때만 작동하므로 js_render를 true로 설정하세요.
네트워크 캡처에 추가 비용이 드나요?
아니요. 이미 내고 있는 JavaScript 렌더링 3 크레딧에 더해지는 크레딧은 없습니다. 실패한 요청은 0입니다.
HTML을 스크랩하는 대신 이것을 써야 하나요?
페이지가 JSON API에서 스스로 채워진다면, 그 JSON을 읽는 편이 보통 마크업을 파싱하는 것보다 깔끔하고 안정적입니다. 사이트의 약관을 존중하고, 사용이 허용된 데이터만 가져오세요.