API do web scrapingu wsadowego
Wyślij do 10,000 adresów URL w jednym wywołaniu. Dostań każdą stronę jako czyste dane.
import żądaniajob = żądania.post( "https://api.spicrawl.com/v1/batch", headers="Authorization": "Bearer spicrawl_live_…", json={ "urls": ["https://example.com/one", "https://example.com/two"], "js_render": True, },).json()# Poll GET /v1/batch/{id} until status is "completed"print(job["id"], job["total_items"])Jak to działa
- Wyślij swoje adresy URL na
POST /v1/batch. Od razu dostajesz ID zadania. - Sprawdź zadanie aż jego status będzie
completed,failedlubcancelled. - Przeczytaj wyniki jako JSON Lines, po jednej stronie naraz, z
X-Next-Cursor.
curl https://api.spicrawl.com/v1/batch \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"name": "catalog-refresh",
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown"
}'import os, time, requests
API = "https://api.spicrawl.com"
H = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
job = requests.post(f"{API}/v1/batch", headers=H, json={
"urls": ["https://example.com/products/1", "https://example.com/products/2"],
"response_format": "markdown",
}, timeout=60).json()
while job["status"] not in ("completed", "failed", "cancelled"):
time.sleep(5)
job = requests.get(f"{API}/v1/batch/{job['id']}", headers=H, timeout=30).json()
results = requests.get(f"{API}/v1/batch/{job['id']}/results", headers=H, timeout=120)
print(results.text) # JSON Lines: one result per linespicrawl batch submit urls.txt --format markdown --wait
spicrawl batch results <job-id> --all -o results.jsonlTrzymaj klucz w SPICRAWL_API_KEY. Twój klucz potrzebuje uprawnienia batch.
Co może każdy element
- Formaty:
html(domyślnie),markdown,textlubjson. - Porządki:
main_content_only,include_tagsiexclude_tagsdziałają na Markdown i tekście. - JavaScript: ustaw
js_render: truedla stron, które potrzebują przeglądarki. - Ustawienia per URL: wyślij
itemszamiasturls, aby nadać każdemu adresowi URL własne ustawienia iexternal_id.
Warto wiedzieć
- Nie w batchu: ekstrakcja, zrzuty ekranu, akcje w przeglądarce i sesje. Zadanie, które o nie prosi, jest odrzucane z kodem 400, zanim cokolwiek zostanie naliczone. Dla takich stron użyj pojedynczych scrape'ów.
- Wyniki wygasają 72 godziny po zakończeniu zadania.
- Bez crawlowania. Spicrawl nie wyszukuje adresów URL ani nie podąża za linkami. Listę wysyłasz Ty.
- Cennik: bezpłatne w becie. Każdy udany element zużywa tyle samo kredytów co pojedynczy scrape.
Najczęściej zadawane pytania
Ile adresów URL może mieć jedno zadanie batch?
Do 10,000 adresów URL na wywołanie. Wyślij je jako listę w urls lub jako items, gdy każdy adres URL potrzebuje własnych ustawień lub external_id, po którym możesz dopasować.
Jakie formaty zwraca zadanie batch?
Każdy element wraca jako html (domyślnie), markdown, text lub json. Markdown i text używają tej samej konwersji co pojedynczy scrape.
Jak długo przechowywane są wyniki batcha?
For 72 hours after the job finishes. Read them with GET /v1/batch/{id}/results, which returns JSON Lines one page at a time.
Czy zadanie batch może wyodrębniać pola lub klikać przyciski?
Nie. Ekstrakcja, zrzuty ekranu, akcje w przeglądarce i sesje nie działają w batchu. Zadanie, które o nie prosi, jest odrzucane z kodem 400, zanim cokolwiek zostanie naliczone. Dla tych stron używaj pojedynczych scrape'ów.
Czy batch crawluje stronę internetową?
Nie. Spicrawl nie znajduje adresów URL ani nie podąża za linkami. Wysyłasz listę adresów URL, które chcesz.