Spicrawl działa teraz z OpenAI Agents SDK, LangChain, Codex, Claude Code i nie tylko.Zobacz integracje
Przejdź do treści

API do web scrapingu wsadowego

Wyślij do 10,000 adresów URL w jednym wywołaniu. Dostań każdą stronę jako czyste dane.

Wyślij adresy URL
batch.py
import żądaniajob = żądania.post(    "https://api.spicrawl.com/v1/batch",    headers="Authorization": "Bearer spicrawl_live_…",    json={        "urls": ["https://example.com/one", "https://example.com/two"],        "js_render": True,    },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])

Jak to działa

  1. Wyślij swoje adresy URL na POST /v1/batch. Od razu dostajesz ID zadania.
  2. Sprawdź zadanie aż jego status będzie completed, failed lub cancelled.
  3. Przeczytaj wyniki jako JSON Lines, po jednej stronie naraz, z X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
  -H "Authorization: Bearer $SPICRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "catalog-refresh",
    "urls": ["https://example.com/products/1", "https://example.com/products/2"],
    "response_format": "markdown"
  }'

Trzymaj klucz w SPICRAWL_API_KEY. Twój klucz potrzebuje uprawnienia batch.

Co może każdy element

  • Formaty: html (domyślnie), markdown, text lub json.
  • Porządki: main_content_only, include_tags i exclude_tags działają na Markdown i tekście.
  • JavaScript: ustaw js_render: true dla stron, które potrzebują przeglądarki.
  • Ustawienia per URL: wyślij items zamiast urls, aby nadać każdemu adresowi URL własne ustawienia i external_id.

Warto wiedzieć

  • Nie w batchu: ekstrakcja, zrzuty ekranu, akcje w przeglądarce i sesje. Zadanie, które o nie prosi, jest odrzucane z kodem 400, zanim cokolwiek zostanie naliczone. Dla takich stron użyj pojedynczych scrape'ów.
  • Wyniki wygasają 72 godziny po zakończeniu zadania.
  • Bez crawlowania. Spicrawl nie wyszukuje adresów URL ani nie podąża za linkami. Listę wysyłasz Ty.
  • Cennik: bezpłatne w becie. Każdy udany element zużywa tyle samo kredytów co pojedynczy scrape.

Najczęściej zadawane pytania

Ile adresów URL może mieć jedno zadanie batch?

Do 10,000 adresów URL na wywołanie. Wyślij je jako listę w urls lub jako items, gdy każdy adres URL potrzebuje własnych ustawień lub external_id, po którym możesz dopasować.

Jakie formaty zwraca zadanie batch?

Każdy element wraca jako html (domyślnie), markdown, text lub json. Markdown i text używają tej samej konwersji co pojedynczy scrape.

Jak długo przechowywane są wyniki batcha?

For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.

Czy zadanie batch może wyodrębniać pola lub klikać przyciski?

Nie. Ekstrakcja, zrzuty ekranu, akcje w przeglądarce i sesje nie działają w batchu. Zadanie, które o nie prosi, jest odrzucane z kodem 400, zanim cokolwiek zostanie naliczone. Dla tych stron używaj pojedynczych scrape'ów.

Czy batch crawluje stronę internetową?

Nie. Spicrawl nie znajduje adresów URL ani nie podąża za linkami. Wysyłasz listę adresów URL, które chcesz.