crawlbaseDocs
Se connecter

Changelog

Livraisons récentes sur l'API Crawlbase, les SDKs et les intégrations. Les dépôts source se trouvent sur github.com/crawlbase.

Juillet 2026

2026-07-29 · Nouveaux scrapers : Kaggle

  • Quatre nouveaux scrapers pour Kaggle, dans la catégorie Développeur et Tech - Kaggle Dataset Search (une page de recherche ou de liste de jeux de données sous forme de tableau classé avec le propriétaire, la taille, la note d'utilisabilité et les téléchargements), Kaggle Dataset (un jeu de données unique avec sa description, ses mots-clés, sa licence et sa liste de fichiers), Kaggle Notebook Search (une page de recherche ou de liste de notebooks sous forme de tableau classé avec l'auteur, les co-auteurs et le contexte de compétition) et Kaggle Notebook (un notebook unique avec son langage, son temps d'exécution, son historique de versions et ses entrées rattachées).

2026-07-24 · Nouveaux scrapers : OLX

  • Deux nouveaux scrapers pour les petites annonces OLX, dans la catégorie E-commerce, sur le frontend partagé (olx.pl, olx.ua, olx.pt, olx.ro, olx.bg, olx.kz, olx.uz) - OLX SERP (une page de résultats de recherche ou de catégorie sous forme de tableau classé d'annonces avec prix et localisation, plus pagination) et OLX Item (une annonce unique avec l'ensemble de ses attributs, prix, vendeur et images).

2026-07-22 · Nouveaux scrapers : Exercism

  • Quatre nouveaux scrapers pour Exercism, dans la catégorie Développeur et Tech - Exercism Exercises (une page de liste d'exercices d'une piste sous forme de tableau structuré avec la difficulté et l'état de déverrouillage), Exercism Exercise (un exercice unique avec l'intégralité de ses instructions en texte et en HTML), Exercism Solutions (une page des solutions communautaires d'un exercice sous forme de tableau paginé d'auteurs, de langages et d'étoiles) et Exercism Solution (une solution publiée unique avec son historique d'itérations et son code source complet).

2026-07-20 · Nouveaux scrapers : Stack Exchange

  • Deux nouveaux scrapers pour le réseau Stack Exchange (Stack Overflow, Super User, Ask Ubuntu, Server Fault, MathOverflow et tous les sites *.stackexchange.com), dans la catégorie Avis et Q&R - Stack Exchange Questions (une page de questions, de tag ou de résultats de recherche sous forme de tableau structuré avec pagination) et Stack Exchange Thread (une question unique avec l'intégralité de ses fils de réponses et de commentaires).

2026-07-16 · Nouveaux scrapers : Booking.com

2026-07-16 · Nouveaux scrapers : Product Hunt

2026-07-15 · Nouveaux scrapers : Reddit

  • Trois nouveaux scrapers pour Reddit, dans la catégorie Réseaux sociaux - Reddit Subreddit (une liste de subreddit sous forme de tableau ordonné de publications avec pagination), Reddit Search (une page de résultats de recherche Reddit sous forme de tableau structuré avec pagination) et Reddit Post (une publication unique avec son arbre de commentaires complet).

2026-07-14 · Nouveaux scrapers : GitHub

  • Trois nouveaux scrapers pour GitHub, regroupés dans la nouvelle catégorie Développeur - GitHub Repository (une page de dépôt unique : étoiles, forks, watchers, langages, sujets, licence, issues et PRs ouvertes, branche par défaut et dernière version), GitHub SERP (une page de résultats de recherche de dépôts sous forme de tableau structuré avec pagination) et GitHub Profile (un profil d'utilisateur ou d'organisation : bio, followers, following, dépôts publics, dépôts épinglés et organisations).

Juin 2026

2026-06-30 · Nouveaux scrapers : Google Trends

  • Deux nouveaux scrapers pour Google Trends - Google Trends (la page « Trending now », qui renvoie les principales recherches tendance avec les métriques de volume de recherche et les détails des tendances) et Google Trends Explore (qui renvoie l'intérêt au fil du temps, l'intérêt par sous-région, les sujets associés et les requêtes associées pour un sujet donné).

2026-06-29 · API Crawler : supprimer un crawler

  • Le nouveau endpoint POST /crawler/<TOKEN>/<NAME>/delete supprime entièrement un crawler - il vide la file d'attente et désenregistre le crawler, qui n'apparaît donc plus dans votre tableau de bord ni vos statistiques. Contrairement à Purge, qui ne fait que vider la file, delete supprime le crawler lui-même. Cette action est définitive.

2026-06-06 · Nouveaux scrapers : Galaxus

2026-06-04 · Crawling API : sortie PDF

  • Le nouveau paramètre pdf=true de la Crawling API renvoie la page entièrement rendue en PDF (Content-Type: application/pdf) au lieu du HTML.
  • Combinez-le avec les paramètres de rendu (country, device, page_wait) ; les requêtes PDF sont facturées comme une requête rendue en JavaScript.

2026-06-02 · API de gestion des crawlers

  • Créez, consultez et mettez à jour des crawlers par programmation via REST, au lieu de passer uniquement par le dashboard.
  • Nouveaux endpoints : POST /crawler/<TOKEN> pour créer, GET /crawler/<TOKEN>/<NAME> pour les détails, et PUT /crawler/<TOKEN>/<NAME> pour mettre à jour.

Mai 2026

2026-05-21 · Onboarding sans mot de passe

  • Connectez-vous avec un code à usage unique envoyé par e-mail. Aucun mot de passe à définir, retenir ou réinitialiser ; les comptes existants continuent de fonctionner comme avant.
  • Onboarding repensé pour les nouveaux comptes. Nous présélectionnons un workflow (scraping, MCP ou intégrations) à partir de votre cas d'usage déclaré, affichons un aperçu en direct de votre première requête Crawling API, et vous dirigeons vers la section correspondante du dashboard à la fin.

2026-05-08 · Nouveau site de documentation

  • Relancement de /docs de bout en bout : navigation restructurée, mode sombre et transitions instantanées au sein des pages dans chaque section.
  • La recherche par palette de commandes (⌘K / Ctrl K) vous emmène directement aux pages, sections et paramètres d'API depuis n'importe où.
  • Le nouveau bouton Ask AI ouvre dans la page un assistant entraîné sur Crawlbase pour poser n'importe quelle question sur la documentation sans la quitter.
  • L'API Playground interactif exécute de vrais appels à la Crawling API directement dans le navigateur, avec les en-têtes de réponse et un aperçu de la page rendue à côté du body.
  • Ajoutez .md à n'importe quelle URL de documentation (par ex. /docs/crawling-api.md) pour obtenir une copie Markdown propre à transmettre à un LLM.
  • Publication de /llms.txt comme index pour la découverte par les assistants IA.
  • Traductions allemande, française, russe et chinoise simplifiée rafraîchies sur toutes les pages pour un texte plus net et plus idiomatique.

2026-05-03 · Go SDK v0.1.0

  • Premier Go SDK officiel pour l'API Crawlbase. Un client CrawlingAPI unique, sans dépendances, idiomatique en Go.
  • Source : github.com/crawlbase/crawlbase-go. Documentation de référence publiée sur pkg.go.dev.

2026-05-02 · Intégration LangChain v0.1.0

Avril 2026

2026-04-24 · Crawling API : sortie Markdown

  • Le nouveau paramètre format=md sur la Crawling API renvoie du Markdown propre au lieu de HTML.
  • Associez-le à md_readability=true pour supprimer la navigation, les publicités et l'habillage avant conversion : même principe que le mode Lecteur.

2026-04-23 · Option d'appareil tablette

  • Le paramètre device de la Crawling API accepte désormais tablet en plus de desktop et mobile.

2026-04-23 · MCP Server v1.3.0 : outils de stockage

2026-04-23 · Plugin Codex

Mars 2026

2026-03-25 · Enterprise Crawler : queue_timeout

  • Le push de l'Enterprise Crawler accepte désormais queue_timeout, ce qui permet de plafonner la durée pendant laquelle une requête reste en file d'attente avant d'être abandonnée, plutôt que d'attendre indéfiniment.

Février 2026

2026-02-10 · Crawler renommé en Enterprise Crawler

  • Le produit asynchrone push/pull s'appelle désormais Enterprise Crawler dans le tableau de bord et la documentation, afin de le distinguer de la Crawling API synchrone.
  • Les endpoints, paramètres et tokens restent inchangés.

Novembre 2025

2025-11-25 · MCP Server v1.2.0 : auth & mode HTTP

  • Le serveur MCP prend désormais en charge l'authentification par en-tête et un mode de transport HTTP optionnel en plus de stdio : utile pour les configurations MCP partagées ou distantes.
  • Publié sous @crawlbase/[email protected].

2025-11-04 · Marque Crawlbase dans toutes les locales

  • Le renommage Crawlbase est désormais reflété dans chaque édition traduite de la documentation (auparavant uniquement en anglais).

Octobre 2025

2025-10-20 · Storage API renommée en Cloud Storage

  • Le produit de récupération et de rétention s'appelle désormais Cloud Storage dans la documentation, le tableau de bord et les noms de méthodes du SDK. Les endpoints /storage existants continuent de fonctionner.

Septembre 2025

2025-09-26 · Paramètre custom_success_code

  • La Crawling API gagne custom_success_code, permettant de marquer comme réussies les réponses non 2xx lors du scraping d'endpoints qui retournent légitimement par exemple 404 ou 451.

2025-09-16 · Smart Proxy → Smart AI Proxy

  • Smart Proxy est désormais nommé Smart AI Proxy, reflétant la logique de routage et de réessai pilotée par IA ajoutée en dessous. Aucun changement côté client.

Juillet 2025

2025-07-10 · Crawlbase MCP Server v1.0

Juin 2025

2025-06-25 · Smart Proxy : transmission des en-têtes et cookies

  • Smart Proxy transmet désormais les en-têtes de requête personnalisés et les cookies jusqu'au site cible : utile pour les crawls authentifiés et le scraping avec session épinglée.

2025-06-18 · Facturation de scroll_interval clarifiée

  • La documentation de la Crawling API détaille maintenant précisément comment scroll_interval est comptabilisé dans la facturation sur les pages à long défilement, afin de prédire le coût d'un crawl à défilement infini avant de le lancer.