Spicrawl działa teraz z OpenAI Agents SDK, LangChain, Codex, Claude Code i nie tylko.Zobacz integracje
Przejdź do treści

Najczęściej zadawane pytania

Szybkie odpowiedzi o Spicrawl, od cen po proxy.

Wszystkie pytania

Ogólne

Czym jest Spicrawl?

Spicrawl to API do web scrapingu, które zamienia dowolny adres URL w czysty Markdown, HTML, PDF lub ustrukturyzowany JSON dla Twojego kodu lub agenta AI, przez API, CLI lub serwer MCP.

Czy Spicrawl jest darmowy?

Tak. W becie jest bezpłatny, z 1,000 kredytów miesięcznie i bez karty kredytowej.

Co oznacza Spicrawl?

Nazwa łączy "spider" i "crawl", dlatego nasze logo to pająk. Pisze się S-P-I-C-R-A-W-L. Spicrawl to API do web scrapingu: wysyłasz adresy URL, które chcesz, a on zwraca czyste dane.

Dlaczego nie użyć wbudowanego web fetch mojego asystenta AI?

Wbudowane narzędzia fetch wystarczą do szybkiego zerknięcia, ale często zwracają surowy lub ucięty tekst i mogą nie uruchamiać JavaScriptu. Spicrawl zwraca czysty Markdown lub JSON, renderuje JavaScript, gdy strona tego potrzebuje, utrzymuje sesje logowania, wykonuje kliknięcia i wpisywanie w formularzach oraz obsługuje do 10,000 adresów URL w jednym zadaniu batch. Twój agent dostaje treść strony, a nie jej menu i skrypty.

Czy web scraping jest legalny?

To zależy od tego, co zbierasz, gdzie jesteś i jak tego używasz. Scrapowanie publicznie dostępnych stron jest powszechne, ale to Ty odpowiadasz za przestrzeganie regulaminu każdej strony, praw autorskich i przepisów o ochronie danych, takich jak RODO, zwłaszcza w przypadku danych osobowych. Jeśli masz wątpliwości, zapytaj prawnika o swój konkretny przypadek.

Scraping i dane

Czy mogę scrapować strony JavaScript?

Yes. Set js_render to true to load the page in a real browser. With mode=auto, Spicrawl tries a plain request first and uses a browser only if needed.

Czy Spicrawl radzi sobie z ochroną przed botami, taką jak Cloudflare?

Często, ale nie zawsze. Użyj prawdziwego fingerprintu przeglądarki, renderowania w przeglądarce lub własnego proxy. Zabezpieczenie anty-bot zwraca czytelny błąd i nic nie kosztuje. Tryb stealth i zarządzane proxy nie są w becie.

Jak zamienić stronę na Markdown dla LLM?

Wyślij adres URL z response_format ustawionym na markdown. Spicrawl zwraca główną treść strony jako Markdown, z usuniętymi menu, stopkami i elementami aside, co zwykle zajmuje ułamek tokenów surowego HTML. Parsuje też PDF-y, a konwersja do Markdown nie kosztuje nic ekstra.

Czy mogę wyodrębnić dane strukturalne jako JSON?

Tak, na trzy sposoby: autoparse czyta własne metadane strony, mapa selektorów wyciąga dokładne pola, a JSON Schema z selektorami zwraca typowany, zwalidowany wynik. Wszystkie trzy są bezpłatne ponad cenę silnika. Ekstrakcja z opisu w zwykłym języku, z użyciem modelu, jest wkrótce.

Czy mogę scrapować wiele adresów URL naraz?

Tak. Zadanie batch przyjmuje do 10,000 adresów URL na wywołanie i uruchamia je równolegle. Sprawdzasz jego postęp, a potem pobierasz wyniki jako JSON Lines. Wyniki są przechowywane 72 godziny.

Czy mogę utrzymać sesję logowania?

Tak. Utwórz sesję i przekazuj jej ID w każdym żądaniu, aby używać ponownie tych samych ciasteczek, storage przeglądarki i wyjściowego adresu IP, dzięki czemu logowanie przenosi się między stronami. Organizacja może mieć jednocześnie do 100 aktywnych sesji.

Czy mogę automatyzować kliknięcia i formularze?

Tak. Akcje w przeglądarce mogą klikać, wpisywać, wybierać, przewijać, czekać i uruchamiać JavaScript na wyrenderowanej stronie, zanim zostanie przechwycona, z maksymalnie 50 krokami na żądanie.

Czy mogę używać proxy?

Tak. Użyj własnego proxy bez dopłaty za proxy. Zarządzane proxy i wbudowany wybór kraju są wkrótce i nie są dostępne w becie.

Agenci AI i programiści

Czy mogę używać Spicrawl z agentami AI?

Tak. Hostowany serwer MCP pozwala Claude Code, Cursor i Codex scrapować strony, uruchamiać batche, używać ponownie sesji i wykonywać akcje w przeglądarce. Uruchom spicrawl init, aby go skonfigurować.

Jakich języków programowania mogę używać?

Dowolny język, który potrafi wysłać żądanie HTTP. Dokumentacja zawiera przykłady w cURL, Pythonie i TypeScripcie, a na npm jest SDK dla JavaScriptu i TypeScriptu (@spicrawl/sdk) dla Node.js 18 i nowszych. CLI spicrawl działa w dowolnej powłoce lub skrypcie.

Czy jest CLI lub panel?

Oba. CLI obejmuje scraping, batche, sesje, logi i użycie, a panel ma playground, logi aktywności, użycie i zarządzanie kluczami.

Kredyty i limity

Czy nieudane żądania kosztują kredyty?

Nie. Kredyty kosztują tylko udane żądania: 1 za zwykłe, 3 za renderowanie JavaScriptu i 8 za pełną przeglądarkę. Błędy, zabezpieczenia anty-bot i przekroczenia czasu są darmowe.

Czy są limity zapytań?

Tak. Każdy klucz API ma limit częstotliwości żądań, każda organizacja ma limit żądań wykonywanych jednocześnie, a do tego jest miesięczny limit kredytów. Każda odpowiedź podaje Twoje bieżące limity w nagłówkach, a żądanie odrzucone przez limit nic nie kosztuje.

Nadal utknąłeś? Przeczytaj dokumentację lub napisz na support@spicrawl.com.