Najczęściej zadawane pytania
Szybkie odpowiedzi o Spicrawl, od cen po proxy.
Wszystkie pytania
Ogólne
Czym jest Spicrawl?
Spicrawl to API do web scrapingu, które zamienia dowolny adres URL w czysty Markdown, HTML, PDF lub ustrukturyzowany JSON dla Twojego kodu lub agenta AI, przez API, CLI lub serwer MCP.
Czy Spicrawl jest darmowy?
Tak. W becie jest bezpłatny, z 1,000 kredytów miesięcznie i bez karty kredytowej.
Co oznacza Spicrawl?
Nazwa łączy "spider" i "crawl", dlatego nasze logo to pająk. Pisze się S-P-I-C-R-A-W-L. Spicrawl to API do web scrapingu: wysyłasz adresy URL, które chcesz, a on zwraca czyste dane.
Dlaczego nie użyć wbudowanego web fetch mojego asystenta AI?
Wbudowane narzędzia fetch wystarczą do szybkiego zerknięcia, ale często zwracają surowy lub ucięty tekst i mogą nie uruchamiać JavaScriptu. Spicrawl zwraca czysty Markdown lub JSON, renderuje JavaScript, gdy strona tego potrzebuje, utrzymuje sesje logowania, wykonuje kliknięcia i wpisywanie w formularzach oraz obsługuje do 10,000 adresów URL w jednym zadaniu batch. Twój agent dostaje treść strony, a nie jej menu i skrypty.
Czy web scraping jest legalny?
To zależy od tego, co zbierasz, gdzie jesteś i jak tego używasz. Scrapowanie publicznie dostępnych stron jest powszechne, ale to Ty odpowiadasz za przestrzeganie regulaminu każdej strony, praw autorskich i przepisów o ochronie danych, takich jak RODO, zwłaszcza w przypadku danych osobowych. Jeśli masz wątpliwości, zapytaj prawnika o swój konkretny przypadek.
Scraping i dane
Czy mogę scrapować strony JavaScript?
Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.
Czy Spicrawl radzi sobie z ochroną przed botami, taką jak Cloudflare?
Często, ale nie zawsze. Użyj prawdziwego fingerprintu przeglądarki, renderowania w przeglądarce lub własnego proxy. Zabezpieczenie anty-bot zwraca czytelny błąd i nic nie kosztuje. Tryb stealth i zarządzane proxy nie są w becie.
Jak zamienić stronę na Markdown dla LLM?
Wyślij adres URL z response_format ustawionym na markdown. Spicrawl zwraca główną treść strony jako Markdown, z usuniętymi menu, stopkami i elementami aside, co zwykle zajmuje ułamek tokenów surowego HTML. Parsuje też PDF-y, a konwersja do Markdown nie kosztuje nic ekstra.
Czy mogę wyodrębnić dane strukturalne jako JSON?
Tak, na trzy sposoby: autoparse czyta własne metadane strony, mapa selektorów wyciąga dokładne pola, a JSON Schema z selektorami zwraca typowany, zwalidowany wynik. Wszystkie trzy są bezpłatne ponad cenę silnika. Ekstrakcja z opisu w zwykłym języku, z użyciem modelu, jest wkrótce.
Czy mogę scrapować wiele adresów URL naraz?
Tak. Zadanie batch przyjmuje do 10,000 adresów URL na wywołanie i uruchamia je równolegle. Sprawdzasz jego postęp, a potem pobierasz wyniki jako JSON Lines. Wyniki są przechowywane 72 godziny.
Czy mogę utrzymać sesję logowania?
Tak. Utwórz sesję i przekazuj jej ID w każdym żądaniu, aby używać ponownie tych samych ciasteczek, storage przeglądarki i wyjściowego adresu IP, dzięki czemu logowanie przenosi się między stronami. Organizacja może mieć jednocześnie do 100 aktywnych sesji.
Czy mogę automatyzować kliknięcia i formularze?
Tak. Akcje w przeglądarce mogą klikać, wpisywać, wybierać, przewijać, czekać i uruchamiać JavaScript na wyrenderowanej stronie, zanim zostanie przechwycona, z maksymalnie 50 krokami na żądanie.
Czy mogę używać proxy?
Tak. Użyj własnego proxy bez dopłaty za proxy. Zarządzane proxy i wbudowany wybór kraju są wkrótce i nie są dostępne w becie.
Agenci AI i programiści
Czy mogę używać Spicrawl z agentami AI?
Tak. Hostowany serwer MCP pozwala Claude Code, Cursor i Codex scrapować strony, uruchamiać batche, używać ponownie sesji i wykonywać akcje w przeglądarce. Uruchom spicrawl init, aby go skonfigurować.
Jakich języków programowania mogę używać?
Dowolny język, który potrafi wysłać żądanie HTTP. Dokumentacja zawiera przykłady w cURL, Pythonie i TypeScripcie, a na npm jest SDK dla JavaScriptu i TypeScriptu (@spicrawl/sdk) dla Node.js 18 i nowszych. CLI spicrawl działa w dowolnej powłoce lub skrypcie.
Czy jest CLI lub panel?
Oba. CLI obejmuje scraping, batche, sesje, logi i użycie, a panel ma playground, logi aktywności, użycie i zarządzanie kluczami.
Kredyty i limity
Czy nieudane żądania kosztują kredyty?
Nie. Kredyty kosztują tylko udane żądania: 1 za zwykłe, 3 za renderowanie JavaScriptu i 8 za pełną przeglądarkę. Błędy, zabezpieczenia anty-bot i przekroczenia czasu są darmowe.
Czy są limity zapytań?
Tak. Każdy klucz API ma limit częstotliwości żądań, każda organizacja ma limit żądań wykonywanych jednocześnie, a do tego jest miesięczny limit kredytów. Każda odpowiedź podaje Twoje bieżące limity w nagłówkach, a żądanie odrzucone przez limit nic nie kosztuje.
Nadal utknąłeś? Przeczytaj dokumentację lub napisz na support@spicrawl.com.