crawlbaseDocs
Se connecter

Changelog

Livraisons récentes sur l'API Crawlbase, les SDKs et les intégrations. Les dépôts source se trouvent sur github.com/crawlbase.

Septembre 2026

2026-09-15 · Console : rôle Lecteur

2026-09-06 · Crawlbase Cookbook

  • Le Crawlbase Cookbook est en ligne : une page pour chacun des 356 sites que nos clients crawlent, qui s'ouvre sur des chiffres mesurés sur le trafic réel de Crawlbase, comme le taux de réussite, le besoin d'un navigateur et les crédits par page. Trouvez un site par la recherche, les filtres ou 26 pages de catégorie, suivez des recettes pas à pas comme Sephora et idealo, et découvrez notre méthode de calcul.

2026-09-06 · Playground : une seule clé pour le rendu JavaScript

2026-09-06 · Console : alertes d'expiration de carte et de paiement échoué

  • Facturation affiche la carte enregistrée et sa date d'expiration. Dans les 60 jours précédant l'expiration, la mention passe en orange, puis en rouge une fois la carte expirée, pour que vous puissiez la mettre à jour avant le prochain prélèvement. Si un paiement par carte échoue et est en cours de nouvelle tentative, la console affiche une bannière Paiement échoué avec le montant et un lien pour mettre à jour votre moyen de paiement.

2026-09-05 · Console : dépassement en dollars

  • Sur les abonnements, le dépassement s'affiche désormais en dollars en plus des crédits sur Facturation, la page d'accueil de la console et Utilisation, calculé comme sur votre facture. Facturation indique aussi votre prochain renouvellement : le plan plus le dépassement prévu.

2026-09-05 · Console : catalogue des scrapers

  • Scrapers présente chaque scraper sous forme de carte avec une courte description, un lien vers sa documentation et un bouton Essayer dans le Playground. Filtrez par nom ou par catégorie.

2026-09-01 · Console : historique complet des factures

  • La liste des factures de Facturation couvre désormais tout votre historique, page par page, avec export CSV. Chaque facture se télécharge telle qu'elle vous a été envoyée.

Août 2026

2026-08-25 · Console : quitter une organisation, changer de propriétaire

  • Dans Paramètres > Équipe, les membres peuvent désormais quitter une organisation eux-mêmes, et les propriétaires peuvent faire d'un autre membre un propriétaire, ou d'un propriétaire un membre, en cliquant sur son rôle. Le dernier propriétaire ne peut pas être retiré. Si vous acceptez une invitation à un workspace alors que vous avez votre propre abonnement, la console vous explique d'abord que votre abonnement reste facturé sur votre propre organisation.
  • La page de l'intégration LangChain renvoie désormais vers le code source sur GitHub et le paquet sur PyPI, pour vérifier les deux avant d'installer langchain-crawlbase.

2026-08-22 · Console : recherche de crawlers et vue en direct

  • Crawlers propose un champ de recherche qui filtre les noms de crawlers pendant la saisie, ainsi que les filtres Tous, Actifs et En pause ; un crawler mis en pause faute de solde compte comme en pause. L'onglet en direct de chaque crawler se met à jour toutes les 5 secondes et affiche les jobs en attente et en cours ainsi que la plus longue attente.

2026-08-22 · Console : utilisation sur la période de facturation, avec calculateur de dépassement

  • Utilisation s'ouvre désormais sur Cette période : la période de facturation de votre plan, ou le mois civil en cours sans plan, pour que les totaux correspondent à votre facture. Les abonnés voient d'abord les crédits du plan consommés, et le curseur de projection sert de calculateur de dépassement : il montre les volumes couverts par votre plan et le coût au-delà.

2026-08-21 · Console : archiver un workspace, utilisation par workspace

  • Les propriétaires peuvent archiver un workspace dans Paramètres > Équipe. Ses tokens cessent immédiatement de fonctionner ; son historique d'utilisation et de facturation reste visible. Sur les comptes à deux workspaces ou plus, sélectionner un workspace limite Utilisation et le graphique d'accueil au trafic de ce workspace.

2026-08-20 · Console : aperçus du Storage lisibles

  • Les aperçus du Storage sont désormais mis en forme : les contenus JSON, y compris la sortie des scrapers et les résultats format=json, sont indentés, et les pages HTML s'affichent avec une balise par ligne au lieu d'une seule longue ligne. Les données stockées restent inchangées.

2026-08-19 · Console : résilier ou conserver votre plan

  • Le responsable de la facturation peut résilier un plan en libre-service depuis Facturation. Le plan reste actif jusqu'à la fin de la période et n'est pas renouvelé. D'ici là, il affiche sa date de fin, et Conserver le plan annule la résiliation.

2026-08-14 · La nouvelle console

  • Le tableau de bord est reconstruit sous la forme de la console. Requêtes est un journal consultable de vos appels API, avec filtres par statut, une vue détaillée par requête et un export CSV. Utilisation détaille les crédits par produit, palier et domaine. Également inclus : Storage, Crawlers avec journal de livraison et nouvelles tentatives, le Playground, les tickets de support, Paramètres et Facturation avec factures et paiement par carte. Les workspaces permettent de séparer clés et utilisation par équipe ou par projet.

2026-08-11 · Mode proxy retiré

  • L'API de crawl ne peut plus être appelée comme un proxy HTTP. Le listener du mode proxy a été retiré et sa section de référence supprimée de cette documentation. Smart AI Proxy reste le produit à interface proxy et couvre les mêmes capacités, avec son propre abonnement et son propre modèle de concurrence. Les appels REST à l'API de crawl ne sont pas affectés.

2026-08-08 · API de crawl : async sur tous les domaines

  • async=true fonctionne désormais sur n'importe quelle cible. Il n'était auparavant accepté que pour les URLs linkedin.com, les autres domaines étant activés par token sur demande. L'appel renvoie immédiatement un rid, et la page terminée est livrée à votre webhook callback, ou stockée puis récupérée plus tard depuis Cloud Storage avec ce même rid. Voir Async & storage.

2026-08-07 · Nouveaux scrapers : LeetCode

  • Quatre nouveaux scrapers pour LeetCode, dans la catégorie Développeur et Tech - LeetCode Problem Set (une liste de problèmes sous forme de tableau avec l'identifiant, la difficulté, le taux d'acceptation et l'indicateur premium), LeetCode Problem (un problème unique avec son énoncé, ses tags de thème, ses indices et ses extraits de code de départ), LeetCode Solutions (l'onglet des solutions de la communauté sous forme de tableau avec l'auteur, les tags et les compteurs d'engagement) et LeetCode Solution (une publication de solution unique avec son texte et ses blocs de code extraits).

Juillet 2026

2026-07-29 · Nouveaux scrapers : Kaggle

  • Quatre nouveaux scrapers pour Kaggle, dans la catégorie Développeur et Tech - Kaggle Dataset Search (une page de recherche ou de liste de jeux de données sous forme de tableau classé avec le propriétaire, la taille, la note d'utilisabilité et les téléchargements), Kaggle Dataset (un jeu de données unique avec sa description, ses mots-clés, sa licence et sa liste de fichiers), Kaggle Notebook Search (une page de recherche ou de liste de notebooks sous forme de tableau classé avec l'auteur, les co-auteurs et le contexte de compétition) et Kaggle Notebook (un notebook unique avec son langage, son temps d'exécution, son historique de versions et ses entrées rattachées).

2026-07-24 · Nouveaux scrapers : OLX

  • Deux nouveaux scrapers pour les petites annonces OLX, dans la catégorie E-commerce, sur le frontend partagé (olx.pl, olx.ua, olx.pt, olx.ro, olx.bg, olx.kz, olx.uz) - OLX SERP (une page de résultats de recherche ou de catégorie sous forme de tableau classé d'annonces avec prix et localisation, plus pagination) et OLX Item (une annonce unique avec l'ensemble de ses attributs, prix, vendeur et images).

2026-07-22 · Nouveaux scrapers : Exercism

  • Quatre nouveaux scrapers pour Exercism, dans la catégorie Développeur et Tech - Exercism Exercises (une page de liste d'exercices d'une piste sous forme de tableau structuré avec la difficulté et l'état de déverrouillage), Exercism Exercise (un exercice unique avec l'intégralité de ses instructions en texte et en HTML), Exercism Solutions (une page des solutions communautaires d'un exercice sous forme de tableau paginé d'auteurs, de langages et d'étoiles) et Exercism Solution (une solution publiée unique avec son historique d'itérations et son code source complet).

2026-07-20 · Nouveaux scrapers : Stack Exchange

  • Deux nouveaux scrapers pour le réseau Stack Exchange (Stack Overflow, Super User, Ask Ubuntu, Server Fault, MathOverflow et tous les sites *.stackexchange.com), dans la catégorie Avis et Q&R - Stack Exchange Questions (une page de questions, de tag ou de résultats de recherche sous forme de tableau structuré avec pagination) et Stack Exchange Thread (une question unique avec l'intégralité de ses fils de réponses et de commentaires).

2026-07-16 · Nouveaux scrapers : Booking.com

2026-07-16 · Nouveaux scrapers : Product Hunt

2026-07-15 · Nouveaux scrapers : Reddit

  • Trois nouveaux scrapers pour Reddit, dans la catégorie Réseaux sociaux - Reddit Subreddit (une liste de subreddit sous forme de tableau ordonné de publications avec pagination), Reddit Search (une page de résultats de recherche Reddit sous forme de tableau structuré avec pagination) et Reddit Post (une publication unique avec son arbre de commentaires complet).

2026-07-14 · Nouveaux scrapers : GitHub

  • Trois nouveaux scrapers pour GitHub, regroupés dans la nouvelle catégorie Développeur - GitHub Repository (une page de dépôt unique : étoiles, forks, watchers, langages, sujets, licence, issues et PRs ouvertes, branche par défaut et dernière version), GitHub SERP (une page de résultats de recherche de dépôts sous forme de tableau structuré avec pagination) et GitHub Profile (un profil d'utilisateur ou d'organisation : bio, followers, following, dépôts publics, dépôts épinglés et organisations).

Juin 2026

2026-06-30 · Nouveaux scrapers : Google Trends

  • Deux nouveaux scrapers pour Google Trends - Google Trends (la page « Trending now », qui renvoie les principales recherches tendance avec les métriques de volume de recherche et les détails des tendances) et Google Trends Explore (qui renvoie l'intérêt au fil du temps, l'intérêt par sous-région, les sujets associés et les requêtes associées pour un sujet donné).

2026-06-29 · API Crawler : supprimer un crawler

  • Le nouveau endpoint POST /crawler/<TOKEN>/<NAME>/delete supprime entièrement un crawler - il vide la file d'attente et désenregistre le crawler, qui n'apparaît donc plus dans votre tableau de bord ni vos statistiques. Contrairement à Purge, qui ne fait que vider la file, delete supprime le crawler lui-même. Cette action est définitive.

2026-06-06 · Nouveaux scrapers : Galaxus

2026-06-04 · Crawling API : sortie PDF

  • Le nouveau paramètre pdf=true de la Crawling API renvoie la page entièrement rendue en PDF (Content-Type: application/pdf) au lieu du HTML.
  • Combinez-le avec les paramètres de rendu (country, device, page_wait) ; les requêtes PDF sont facturées comme une requête rendue en JavaScript.

2026-06-02 · API de gestion des crawlers

  • Créez, consultez et mettez à jour des crawlers par programmation via REST, au lieu de passer uniquement par le dashboard.
  • Nouveaux endpoints : POST /crawler/<TOKEN> pour créer, GET /crawler/<TOKEN>/<NAME> pour les détails, et PUT /crawler/<TOKEN>/<NAME> pour mettre à jour.

Mai 2026

2026-05-21 · Onboarding sans mot de passe

  • Connectez-vous avec un code à usage unique envoyé par e-mail. Aucun mot de passe à définir, retenir ou réinitialiser ; les comptes existants continuent de fonctionner comme avant.
  • Onboarding repensé pour les nouveaux comptes. Nous présélectionnons un workflow (scraping, MCP ou intégrations) à partir de votre cas d'usage déclaré, affichons un aperçu en direct de votre première requête Crawling API, et vous dirigeons vers la section correspondante du dashboard à la fin.

2026-05-08 · Nouveau site de documentation

  • Relancement de /docs de bout en bout : navigation restructurée, mode sombre et transitions instantanées au sein des pages dans chaque section.
  • La recherche par palette de commandes (⌘K / Ctrl K) vous emmène directement aux pages, sections et paramètres d'API depuis n'importe où.
  • Le nouveau bouton Ask AI ouvre dans la page un assistant entraîné sur Crawlbase pour poser n'importe quelle question sur la documentation sans la quitter.
  • L'API Playground interactif exécute de vrais appels à la Crawling API directement dans le navigateur, avec les en-têtes de réponse et un aperçu de la page rendue à côté du body.
  • Ajoutez .md à n'importe quelle URL de documentation (par ex. /docs/crawling-api.md) pour obtenir une copie Markdown propre à transmettre à un LLM.
  • Publication de /llms.txt comme index pour la découverte par les assistants IA.
  • Traductions allemande, française, russe et chinoise simplifiée rafraîchies sur toutes les pages pour un texte plus net et plus idiomatique.

2026-05-03 · Go SDK v0.1.0

  • Premier Go SDK officiel pour l'API Crawlbase. Un client CrawlingAPI unique, sans dépendances, idiomatique en Go.
  • Source : github.com/crawlbase/crawlbase-go. Documentation de référence publiée sur pkg.go.dev.

2026-05-02 · Intégration LangChain v0.1.0

Avril 2026

2026-04-24 · Crawling API : sortie Markdown

  • Le nouveau paramètre format=md sur la Crawling API renvoie du Markdown propre au lieu de HTML.
  • Associez-le à md_readability=true pour supprimer la navigation, les publicités et l'habillage avant conversion : même principe que le mode Lecteur.

2026-04-23 · Option d'appareil tablette

  • Le paramètre device de la Crawling API accepte désormais tablet en plus de desktop et mobile.

2026-04-23 · MCP Server v1.3.0 : outils de stockage

2026-04-23 · Plugin Codex

Mars 2026

2026-03-25 · Enterprise Crawler : queue_timeout

  • Le push de l'Enterprise Crawler accepte désormais queue_timeout, ce qui permet de plafonner la durée pendant laquelle une requête reste en file d'attente avant d'être abandonnée, plutôt que d'attendre indéfiniment.

Février 2026

2026-02-10 · Crawler renommé en Enterprise Crawler

  • Le produit asynchrone push/pull s'appelle désormais Enterprise Crawler dans le tableau de bord et la documentation, afin de le distinguer de la Crawling API synchrone.
  • Les endpoints, paramètres et tokens restent inchangés.

Novembre 2025

2025-11-25 · MCP Server v1.2.0 : auth & mode HTTP

  • Le serveur MCP prend désormais en charge l'authentification par en-tête et un mode de transport HTTP optionnel en plus de stdio : utile pour les configurations MCP partagées ou distantes.
  • Publié sous @crawlbase/[email protected].

2025-11-04 · Marque Crawlbase dans toutes les locales

  • Le renommage Crawlbase est désormais reflété dans chaque édition traduite de la documentation (auparavant uniquement en anglais).

Octobre 2025

2025-10-20 · Storage API renommée en Cloud Storage

  • Le produit de récupération et de rétention s'appelle désormais Cloud Storage dans la documentation, le tableau de bord et les noms de méthodes du SDK. Les endpoints /storage existants continuent de fonctionner.

Septembre 2025

2025-09-26 · Paramètre custom_success_code

  • La Crawling API gagne custom_success_code, permettant de marquer comme réussies les réponses non 2xx lors du scraping d'endpoints qui retournent légitimement par exemple 404 ou 451.

2025-09-16 · Smart Proxy → Smart AI Proxy

  • Smart Proxy est désormais nommé Smart AI Proxy, reflétant la logique de routage et de réessai pilotée par IA ajoutée en dessous. Aucun changement côté client.

Juillet 2025

2025-07-10 · Crawlbase MCP Server v1.0

Juin 2025

2025-06-25 · Smart Proxy : transmission des en-têtes et cookies

  • Smart Proxy transmet désormais les en-têtes de requête personnalisés et les cookies jusqu'au site cible : utile pour les crawls authentifiés et le scraping avec session épinglée.

2025-06-18 · Facturation de scroll_interval clarifiée

  • La documentation de la Crawling API détaille maintenant précisément comment scroll_interval est comptabilisé dans la facturation sur les pages à long défilement, afin de prédire le coût d'un crawl à défilement infini avant de le lancer.