Klicken, tippen und scrollen, bevor du scrapst
Öffne Menüs, fülle Formulare aus und lade mehr. Dann lies die Seite.
- 1KlickenEin Menü öffnen oder „Load more“ drücken
- 2TippenEin Formular oder ein Suchfeld ausfüllen
- 3ScrollenDen Rest des Feeds laden
- 4LesenDie Seite als Markdown abrufen
curl -X POST https://api.spicrawl.com/v1/scrape \ -H "Authorization: Bearer spicrawl_live_…" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com", "js_render": true, "response_format": "markdown", "actions": [ { "click": "#accept" }, { "fill": { "selector": "#search", "value": "shoes" } }, { "scroll": { "y": 800 } } ] }'So funktioniert es
- Rendering aktivieren mit
js_render: true. Aktionen brauchen einen Browser. - Liste deine Schritte auf in
actions. Sie laufen der Reihe nach, nachdem die Seite geladen ist. - Die Seite abrufen so, wie sie nach dem letzten Schritt aussieht, im gewählten Format.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"url": "https://example.com/products?category=lamps",
"js_render": true,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"}
]
}'import os, requests
r = requests.post(
"https://api.spicrawl.com/v1/scrape",
headers={"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"},
json={
"url": "https://example.com/products?category=lamps",
"js_render": True,
"response_format": "markdown",
"actions": [
{"click": "button.load-more"},
{"wait_for": ".product-card:nth-child(40)"},
],
},
timeout=180,
)
print(r.text)spicrawl scrape "https://example.com/products?category=lamps" --render --format markdown \
--actions '[{"click":"button.load-more"},{"wait_for":".product-card:nth-child(40)"}]'Schritte, die du nutzen kannst
| Schritt | Was es macht |
|---|---|
wait_for | Wartet auf ein Element oder eine festgelegte Zeit |
click | Klickt einen Button oder Link |
fill | Tippt in ein Eingabefeld. Füge secret: true hinzu, um den Wert in Logs zu verbergen |
select | Wählt eine Option in einer Liste aus |
scroll | Scrollt die Seite, für Feeds, die beim Scrollen mehr laden |
evaluate | Führt dein eigenes JavaScript auf der Seite aus |
screenshot | Speichert ein Bild der Seite in diesem Schritt |
Gut zu wissen
- Bis zu 50 Schritte pro Anfrage. Die ganze Liste wird geprüft, bevor etwas verbraucht wird.
- Nur im Browser. Ohne
js_renderwird die Anfrage mit einem 400 abgelehnt. - Nicht im Batch. Aktionen laufen nur bei einzelnen Scrapes.
- Logins: Melde dich nur bei Konten an, die dir gehören oder die du nutzen darfst. Um angemeldet zu bleiben, nutze eine session.
- Preise: kostenlos in der Beta. Aktionen laufen im Rendering im vollen Browser, das 8 Credits kostet.
Häufig gestellte Fragen
Was können Browser-Aktionen?
Warte auf ein Element, warte auf Navigation, klicke, fülle ein Eingabefeld aus, wähle eine Option, scrolle, führe JavaScript aus und mache einen Screenshot. Die Schritte laufen der Reihe nach, nachdem die Seite geladen wurde.
Wie viele Schritte kann eine Anfrage haben?
Bis zu 50. Die ganze Liste wird geprüft, bevor die Anfrage läuft, ein Fehler schlägt also früh fehl und kostet nichts.
Brauchen Browser-Aktionen JavaScript-Rendering?
Ja. Aktionen laufen in einem Browser, setze also js_render auf true. Ohne das wird die Anfrage mit einem 400 abgelehnt.
Kann ich ein Passwort sicher eingeben?
Ja. Markiere den Fill-Schritt mit secret auf true, und der Wert wird in Logs verborgen. Melde dich nur bei Konten an, die dir gehören oder die du nutzen darfst.
Kann ich nach den Schritten einen Screenshot bekommen?
Ja. Füge einen Screenshot-Schritt hinzu. Die Antwort wird dann zum JSON-Umschlag, mit den Bildern unter screenshots.