Akcje w przeglądarceNajpierw klikaj, wpisuj i przewijaj
Klikaj, wpisuj i przewijaj przed scrapem
Otwieraj menu, wypełniaj formularze i doładowuj więcej. Potem czytaj stronę.
- 1KlikajOtwórz menu lub naciśnij „Load more”
- 2WpiszWypełnij formularz lub pole wyszukiwania
- 3PrzewijanieZaładuj resztę feedu
- 4CzytajPobierz stronę jako Markdown
Wyślij żądanie
actions.sh
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com", "js_render": true, "response_format": "markdown", "actions": [ { "click": "#accept" }, { "fill": { "selector": "#search", "value": "shoes" } }, { "scroll": { "y": 800 } } ] }'Jak to działa
- Włącz renderowanie Z
js_render: true. Akcje wymagają przeglądarki. - Wypisz swoje kroki w
actions. Wykonują się po kolei po załadowaniu strony. - Pobierz stronę w takiej postaci, jak wygląda po ostatnim kroku, w wybranym formacie.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products?category=lamps",
"js_render": true,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"}
]
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products?category=lamps",
"js_render": True,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"},
],
},
timeout=180,
)
print(r.text)spicrawl scrape "https://example.com/products?category=lamps" --render --format markdown \
--actions '[{"click":"button.load-more"},{"wait_for":".product-card:nth-child(40)"}]'Kroki, których możesz użyć
| Krok | Co robi |
|---|---|
wait_for | Czeka na element lub przez ustalony czas |
click | Klika przycisk lub link |
fill | Wpisuje tekst w pole. Dodaj secret: true, aby ukryć wartość w logach |
select | Wybiera opcję z listy |
scroll | Przewija stronę, dla feedów, które doładowują więcej w miarę przewijania |
evaluate | Uruchamia Twój własny JavaScript na stronie |
screenshot | Zapisuje obraz strony na tym kroku |
Warto wiedzieć
- Do 50 kroków na żądanie. Cała lista jest sprawdzana, zanim cokolwiek zostanie wydane.
- Tylko przeglądarka. Bez
js_renderżądanie jest odrzucane z kodem 400. - Nie w batchu. Akcje działają tylko w pojedynczych scrape'ach.
- Logowanie: loguj się tylko na konta, którymi zarządzasz lub których możesz używać. Aby pozostać zalogowanym, użyj sesja.
- Cennik: bezpłatne w becie. Akcje działają w renderowaniu w pełnej przeglądarce, które kosztuje 8 kredytów.
Najczęściej zadawane pytania
Co mogą robić akcje w przeglądarce?
Czekaj na element, czekaj na nawigację, klikaj, wypełniaj pole, wybieraj opcję, przewijaj, uruchamiaj JavaScript i rób zrzuty ekranu. Kroki wykonują się po kolei po załadowaniu strony.
Ile kroków może mieć jedno żądanie?
Do 50. Cała lista jest sprawdzana, zanim żądanie się wykona, więc błąd kończy się wcześnie i nic nie kosztuje.
Czy akcje w przeglądarce wymagają renderowania JavaScriptu?
Tak. Akcje działają w przeglądarce, więc ustaw js_render na true. Bez tego żądanie jest odrzucane z kodem 400.
Czy mogę bezpiecznie wpisać hasło?
Tak. Oznacz krok fill za pomocą secret ustawionego na true, a wartość zostanie ukryta w logach. Loguj się tylko na konta, którymi zarządzasz lub których możesz używać.
Czy mogę dostać zrzut ekranu po wykonaniu kroków?
Tak. Dodaj krok screenshot. Odpowiedź staje się wtedy kopertą JSON, z obrazami w screenshots.