Przechwyć wywołania API stojące za stroną
Wiele stron ładuje dane z API. Przechwyć te wywołania i czytaj JSON bezpośrednio.
Jak to działa
- Wyrenderuj stronę. Ustaw
js_render: true, bo przechwytywanie działa tylko w przeglądarce. - Wybierz wywołania. Ustaw
network_capturena listęurlswzorców, na przykład/api/search. - Przeczytaj treści. Każde pasujące wywołanie wraca w tablicy
networkze swoim statusem, typem i treścią.
curl -sS https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/search?q=desk",
"js_render": true,
"network_capture": { "urls": ["/api/search"] }
}'spicrawl scrape "https://example.com/search?q=desk" --render \
--network-capture '{"urls":["/api/search"]}'Trzymaj klucz w SPICRAWL_API_KEY.
Co wraca
Fragment udokumentowanej odpowiedzi. Zawartość strony jest przykładem.
{
"status": 200,
"credits": 3,
"network": [
{
"url": "https://example.com/api/search?q=desk&page=1",
"status": 200,
"resource_type": "fetch",
"content_type": "application/json",
"body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
}
]
}Kiedy używać
- Strona wypełnia się z API. JSON jest zwykle czystszy i stabilniejszy niż znaczniki z niego zbudowane.
- Wyszukiwanie, wpisy i feedy. Wyniki często ładują się jako jedno wywołanie JSON, które możesz odczytać w całości.
- W przeciwnym razie użyj ekstrakcja strukturalna z selektorami CSS lub schematem JSON Schema.
Warto wiedzieć
- Wymaga
js_render. Nie dolicza kredytów do 3 za renderowanie JavaScriptu. Nieudane żądania kosztują 0. - Bądź uprzejmy. Pobieraj tylko dane, których wolno Ci używać, i przestrzegaj regulaminu witryny.
- Cennik: bezpłatne w becie, z 1,000 kredytów miesięcznie.
Najczęściej zadawane pytania
Co robi przechwytywanie sieci?
Nagrywa wywołania sieciowe wykonywane przez stronę podczas ładowania i zwraca te, o które poprosisz, razem z treścią odpowiedzi. Dzięki temu czytasz JSON używany przez samą stronę, zamiast parsować HTML, który z niego rysuje.
Jak wybrać, które wywołania przechwytywać?
Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.
Czy wymaga renderowania JavaScriptu?
Tak. Przechwytywanie działa tylko wtedy, gdy strona jest renderowana w przeglądarce, więc ustaw js_render na true.
Czy przechwytywanie sieci kosztuje dodatkowo?
Nie. Nie dolicza kredytów do renderowania JavaScriptu, za które już płacisz, czyli 3 kredytów. Nieudane żądania kosztują 0.
Czy używać tego zamiast scrapowania HTML?
Gdy strona wypełnia się z API JSON, czytanie tego JSON jest zwykle czystsze i stabilniejsze niż parsowanie kodu. Przestrzegaj regulaminu strony i pobieraj tylko dane, których wolno Ci używać.