Spicrawl działa teraz z OpenAI Agents SDK, LangChain, Codex, Claude Code i nie tylko.Zobacz integracje
Przejdź do treści

Przechwyć wywołania API stojące za stroną

Wiele stron ładuje dane z API. Przechwyć te wywołania i czytaj JSON bezpośrednio.

Jak to działa

  1. Wyrenderuj stronę. Ustaw js_render: true, bo przechwytywanie działa tylko w przeglądarce.
  2. Wybierz wywołania. Ustaw network_capture na listę urls wzorców, na przykład /api/search.
  3. Przeczytaj treści. Każde pasujące wywołanie wraca w tablicy network ze swoim statusem, typem i treścią.
curl -sS https://api.spicrawl.com/v1/scrape \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/search?q=desk",
    "js_render": true,
    "network_capture": { "urls": ["/api/search"] }
  }'

Trzymaj klucz w SPICRAWL_API_KEY.

Co wraca

Fragment udokumentowanej odpowiedzi. Zawartość strony jest przykładem.

{
  "status": 200,
  "credits": 3,
  "network": [
    {
      "url": "https://example.com/api/search?q=desk&page=1",
      "status": 200,
      "resource_type": "fetch",
      "content_type": "application/json",
      "body": { "total": 38, "items": [{ "id": 42, "name": "Walnut Desk", "price": 349.0 }] }
    }
  ]
}

Kiedy używać

  • Strona wypełnia się z API. JSON jest zwykle czystszy i stabilniejszy niż znaczniki z niego zbudowane.
  • Wyszukiwanie, wpisy i feedy. Wyniki często ładują się jako jedno wywołanie JSON, które możesz odczytać w całości.
  • W przeciwnym razie użyj ekstrakcja strukturalna z selektorami CSS lub schematem JSON Schema.

Warto wiedzieć

  • Wymaga js_render. Nie dolicza kredytów do 3 za renderowanie JavaScriptu. Nieudane żądania kosztują 0.
  • Bądź uprzejmy. Pobieraj tylko dane, których wolno Ci używać, i przestrzegaj regulaminu witryny.
  • Cennik: bezpłatne w becie, z 1,000 kredytów miesięcznie.

Najczęściej zadawane pytania

Co robi przechwytywanie sieci?

Nagrywa wywołania sieciowe wykonywane przez stronę podczas ładowania i zwraca te, o które poprosisz, razem z treścią odpowiedzi. Dzięki temu czytasz JSON używany przez samą stronę, zamiast parsować HTML, który z niego rysuje.

Jak wybrać, które wywołania przechwytywać?

Set network_capture to an object with a urls list of patterns, for example {"urls": ["/api/search"]}. Calls whose URL matches a pattern are returned.

Czy wymaga renderowania JavaScriptu?

Tak. Przechwytywanie działa tylko wtedy, gdy strona jest renderowana w przeglądarce, więc ustaw js_render na true.

Czy przechwytywanie sieci kosztuje dodatkowo?

Nie. Nie dolicza kredytów do renderowania JavaScriptu, za które już płacisz, czyli 3 kredytów. Nieudane żądania kosztują 0.

Czy używać tego zamiast scrapowania HTML?

Gdy strona wypełnia się z API JSON, czytanie tego JSON jest zwykle czystsze i stabilniejsze niż parsowanie kodu. Przestrzegaj regulaminu strony i pobieraj tylko dane, których wolno Ci używać.