Démarrer
Cinq courtes pages qui vous mènent de l'inscription à un premier crawl réussi, puis couvrent les détails opérationnels (authentification, quotas, erreurs) dont vous aurez besoin une fois que vous commencerez à envoyer du trafic réel. À lire de haut en bas, ou parcourez directement la partie qui vous intéresse.
Commencez par le démarrage rapide : il vous permet d'obtenir une requête fonctionnelle en moins de cinq minutes. Les autres pages de cette section sont des références auxquelles vous pouvez revenir au fur et à mesure que des questions se posent.
Votre première requête
- Démarrage rapide : inscrivez-vous, récupérez votre token et envoyez un crawl fonctionnel en cinq minutes. Exemples de code en curl, Python, Node.js, Ruby, PHP, Go, Java et C#. À lire en premier.
Authentification et limites
Une fois les requêtes lancées, les questions qui viennent généralement sont « comment fonctionne l'authentification ? » et « combien puis-je en envoyer ? ». Deux courtes pages de référence couvrent ces deux sujets.
- Authentification : tokens Normal et JavaScript, pourquoi il y en a deux, quand utiliser chacun, comment les garder hors de votre dépôt. Les tokens authentifient toutes les API Crawlbase de la même manière, ce qui s'applique donc à l'ensemble de la plateforme.
- Limites de débit : budgets de concurrence par niveau de forfait, différence entre débit de requêtes et connexions concurrentes, et le schéma à suivre pour ralentir lorsque vous atteignez le plafond.
Codes de statut et erreurs
Du trafic réel implique de vraies pannes : captchas, blocages géographiques, sites cibles indisponibles, ou votre propre client qui configure mal un paramètre. Deux pages expliquent ce que vous recevez en retour et que faire dans ces cas.
- Codes de statut : chaque statut HTTP renvoyé par la plateforme et sa signification. Crawlbase scinde la réponse en deux champs de statut (
pc_statuspour notre côté,original_statuspour le site cible), ce qui vous permet de distinguer les deux modes de défaillance. - Gestion des erreurs : erreurs récupérables et erreurs terminales, stratégie de réessai, et les enveloppes d'erreur spécifiques que la plateforme renvoie afin que votre client puisse les traiter de manière différenciée.
Et ensuite
Une fois que vous aurez dépassé Démarrer, la plateforme se divise selon deux axes : ce que vous construisez et comment vous souhaitez l'intégrer.
- Par surface d'API : la référence d'API couvre Crawling API, Smart AI Proxy, Cloud Storage, Enterprise Crawler, ainsi que les utilitaires plus modestes (Account API, User Agents API).
- Par forme d'intégration : SDKs pour les sept langages majeurs, Intégrations pour les plateformes low-code (LangChain, Zapier, n8n, Make, Airbyte), et la section AI & MCP pour un accès piloté par agent via Claude, Cursor, VS Code et d'autres clients compatibles MCP.
- Par tâche : la Scraper Library propose des scrapers prêts à l'emploi qui renvoient du JSON structuré pour les sites courants, généralement plus rapidement que si vous parsiez le HTML vous-même.
- Pour expérimenter : l'API Playground vous permet de construire et d'exécuter des requêtes en direct dans le navigateur sans écrire de code client.