Scraper des sites derrière une connexion
Connectez-vous une fois et restez connecté. Lisez les pages de votre compte avec une seule API.
{ "url": "https://shop.example/product/1", "js_render": true, "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "cache": true, "response_format": "markdown"}- X-Target-Status
- 200
- X-Engine
- js
- X-Proxy-Source
- direct
- Cache-State
- bypass
- X-Credits-Charged
- 3
Commence par une requête simple et passe à un navigateur seulement si le site la bloque. Les requêtes bloquées ne coûtent rien.
Rendez JavaScript dans un vrai navigateur avant la lecture de la page.
Les requêtes simples portent l’empreinte TLS et HTTP/2 d’un vrai navigateur.
Une connexion directe ou votre propre proxy, sans supplément.
Conservez les cookies et le stockage entre les requêtes, pour qu’une connexion se maintienne.
Cliquez, saisissez, faites défiler et exécutez du JavaScript avant la lecture de la page.
Ignorez les images, les polices et les médias pour des chargements plus rapides.
Enregistrez les appels d’API que la page effectue pendant son chargement.
Activé par défaut pendant 48 heures. Les répétitions sont plus rapides, facturées pareil.
Conserver la connexion entre les requêtes
Une session partage un même stock de cookies entre les pages que vous lisez. Cet exemple montre le flux, pas une vraie requête.
const s = await fetch("https://api.spicrawl.com/v1/sessions", method: "POST", headers: Authorization: "Bearer spicrawl_live_…" ,}).then((r) => r.json());// Log in with browser actions on this session first.await scrape( url: dashboardUrl, session_id: s.id, js_render: true );Comment ça marche
- Créez une session. Conservez l’ID de la réponse.
- Connectez-vous avec des actions de navigateur. Envoyez l’ID de session avec la requête de connexion.
- Lisez les pages de compte. Réutilisez le même ID, une requête à la fois.
- Libérer la session quand vous avez terminé.
Votre clé API a besoin du scope sessions pour créer et gérer des sessions, et de scrape pour en utiliser une. Gardez-la dans SPICRAWL_API_KEY.
1. Créer une session
curl https://api.spicrawl.com/v1/sessions \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"ttl_seconds": 7200}'import os, requests
API = "https://api.spicrawl.com"
headers = {"Authorization": f"Bearer {os.environ['SPICRAWL_API_KEY']}"}
s = requests.post(f"{API}/v1/sessions", headers=headers,
json={"ttl_seconds": 7200}, timeout=30)
s.raise_for_status()
session_id = s.json()["id"]const API = "https://api.spicrawl.com";
const headers = {
Authorization: `Bearer ${process.env.SPICRAWL_API_KEY}`,
"Content-Type": "application/json",
};
const s = await fetch(`${API}/v1/sessions`, {
method: "POST", headers,
body: JSON.stringify({ ttl_seconds: 7200 }),
});
if (!s.ok) throw new Error(await s.text());
const { id: sessionId } = await s.json();spicrawl sessions create --ttl 7200La réponse inclut id, engine, expires_at et hard_expires_at. Elle n’inclut jamais les cookies. L’exemple ci-dessous utilise un ID d’exemple ; remplacez-le par le vôtre.
2. Se connecter avec des actions
Envoyez ce corps à POST /v1/scrape avec votre jeton bearer. Modifiez l’URL et les sélecteurs pour qu’ils correspondent au site. Utilisez les identifiants d’un compte qui vous appartient ou que vous avez le droit d’utiliser.
{
"url": "https://example.com/login",
"session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD",
"js_render": true,
"actions": [
{
"fill": {
"selector": "input[name=email]",
"value": "YOUR_EMAIL"
}
},
{
"fill": {
"selector": "input[name=password]",
"value": "YOUR_PASSWORD",
"secret": true
}
},
{
"click": "button[type=submit]"
},
{
"wait_for": ".account-menu"
}
]
}Remplacez les espaces réservés de l’e-mail et du mot de passe de façon sécurisée à l’exécution. L’action de mot de passe utilise secret: true. Gardez js_render: true : un ID de session seul n’autorise pas les champs réservés au navigateur.
3. Lire des pages avec la même connexion
Une fois la connexion réussie, passez session_id à chaque scrape. Les cookies et le stockage sont conservés. Python et TypeScript réutilisent les variables de l’étape de création.
curl https://api.spicrawl.com/v1/scrape \
-H "Authorization: Bearer $SPICRAWL_API_KEY" \
-H "Content-Type: application/json" \
-d '{"url": "https://example.com/account/orders", "session_id": "01J9ZQ4M7R3T8VX2K5N6P0B1CD", "js_render": true, "response_format": "markdown"}'r = requests.post(f"{API}/v1/scrape", headers=headers, json={
"url": "https://example.com/account/orders", "session_id": session_id,
"js_render": True, "response_format": "markdown",
}, timeout=120)
r.raise_for_status()
print(r.text)const r = await fetch(`${API}/v1/scrape`, {
method: "POST", headers,
body: JSON.stringify({
url: "https://example.com/account/orders", session_id: sessionId,
js_render: true, response_format: "markdown",
}),
});
if (!r.ok) throw new Error(await r.text());
console.log(await r.text());spicrawl scrape https://example.com/account/orders --session 01J9ZQ4M7R3T8VX2K5N6P0B1CD --render --format markdownLes requêtes de session contournent toujours le cache des résultats. Vérifiez Cache-State: bypass ; la page est récupérée à neuf.
4. Libérer la session
curl -X POST https://api.spicrawl.com/v1/sessions/01J9ZQ4M7R3T8VX2K5N6P0B1CD/release \
-H "Authorization: Bearer $SPICRAWL_API_KEY"La libération supprime les cookies et le stockage. Elle ne conserve pas la connexion. Les requêtes suivantes sur cet ID renvoient 410 ERR::SESSION::RELEASED.
Options de session
| Option | À savoir |
|---|---|
engine | Fixé pour la durée de vie de la session. Un scrape ne peut pas choisir un autre moteur. Vérifiez la réponse de création si vous l’omettez. |
ttl_seconds | Par défaut 1 800 secondes ; minimum 30. Un scrape réussi prolonge la durée de vie, jamais au-delà de hard_expires_at. |
session_context | Restaurez les cookies et le stockage enregistrés depuis une session active. Le contexte enregistré est limité à 1 MiB. |
Pour enregistrer une connexion avant la libération, lisez GET /v1/sessions/{id}/context. Conservez cet état de façon sécurisée, puis transmettez-le comme session_context lors de la création d’une nouvelle session.
Ce que ça coûte
Gratuit pendant la bêta. Créer, lire et libérer des sessions ne coûte rien. Chaque scrape est facturé selon le niveau de rendu de la session : fetch 1 crédit, js 3, browser 8. Les échecs, y compris une session occupée ou expirée, coûtent 0.
Bon à savoir
- Une requête à la fois par session. Un second rendu renvoie
409 ERR::SESSION::BUSYavecRetry-After. Utilisez une session par worker pour le travail en parallèle. - Les sessions expirées nécessitent une nouvelle connexion. Un ID inconnu, supprimé ou mal formé renvoie une erreur ; la requête ne s’exécute jamais sans sa session.
- Votre propre proxy : utilisez une sortie fixe pour les sites qui contestent une connexion quand son IP change. Les sorties de session gérées arrivent bientôt.
- Pas de crawl. Vous fournissez les URL. Les proxys gérés, le mode furtif, un navigateur distant et l’extraction à partir d’un prompt arrivent bientôt.
- Votre responsabilité : n’utilisez que les comptes et les pages auxquels vous avez le droit d’accéder. Lisez nos conditions.
Questions fréquentes
Comment scraper un site web derrière une connexion ?
Créez une session, connectez-vous avec des actions de navigateur, puis envoyez son ID comme session_id à chaque scrape. Utilisez js_render: true pour les actions et les autres champs réservés au navigateur. N’utilisez que des comptes et des pages auxquels vous avez le droit d’accéder.
Que conserve une session ?
Une session conserve les cookies et le stockage du navigateur d’une requête à l’autre. Le moteur est fixe pendant toute sa durée de vie. La réponse normale d’une session ne contient jamais de cookies ; le point de terminaison context renvoie l’état enregistré tant que la session est active.
Puis-je envoyer plusieurs requêtes en même temps sur une session ?
Non. Envoyez une requête à la fois par session. Une deuxième requête pendant qu’un rendu s’exécute renvoie 409 ERR::SESSION::BUSY avec Retry-After. Pour du travail en parallèle, créez une session par worker.
Que se passe-t-il quand je libère une session ?
La libération supprime ses cookies et son stockage. Elle ne conserve pas la connexion pour plus tard. Un scrape utilisant l’ID libéré renvoie 410 ERR::SESSION::RELEASED. Enregistrez le contexte avant la libération si vous devez le restaurer dans une nouvelle session.
Combien coûtent les sessions ?
Créer, lire et libérer des sessions ne coûte rien. Chaque scrape est facturé selon le niveau de rendu que la session utilise : 1 crédit pour fetch, 3 pour js ou 8 pour browser. Les requêtes échouées coûtent 0. Spicrawl est gratuit pendant la bêta.