Se connecter

Changelog

Livraisons récentes sur l'API Crawlbase, les SDKs et les intégrations. Les dépôts source se trouvent sur github.com/crawlbase.

Juin 2026

2026-06-06 · Nouveaux scrapers : Galaxus

2026-06-04 · Crawling API : sortie PDF

  • Le nouveau paramètre pdf=true de la Crawling API renvoie la page entièrement rendue en PDF (Content-Type: application/pdf) au lieu du HTML.
  • Combinez-le avec les paramètres de rendu (country, device, page_wait) ; les requêtes PDF sont facturées comme une requête rendue en JavaScript.

2026-06-02 · API de gestion des crawlers

  • Créez, consultez et mettez à jour des crawlers par programmation via REST, au lieu de passer uniquement par le dashboard.
  • Nouveaux endpoints : POST /crawler/<TOKEN> pour créer, GET /crawler/<TOKEN>/<NAME> pour les détails, et PUT /crawler/<TOKEN>/<NAME> pour mettre à jour.

Mai 2026

2026-05-21 · Onboarding sans mot de passe

  • Connectez-vous avec un code à usage unique envoyé par e-mail. Aucun mot de passe à définir, retenir ou réinitialiser ; les comptes existants continuent de fonctionner comme avant.
  • Onboarding repensé pour les nouveaux comptes. Nous présélectionnons un workflow (scraping, MCP ou intégrations) à partir de votre cas d'usage déclaré, affichons un aperçu en direct de votre première requête Crawling API, et vous dirigeons vers la section correspondante du dashboard à la fin.

2026-05-08 · Nouveau site de documentation

  • Relancement de /docs de bout en bout : navigation restructurée, mode sombre et transitions instantanées au sein des pages dans chaque section.
  • La recherche par palette de commandes (⌘K / Ctrl K) vous emmène directement aux pages, sections et paramètres d'API depuis n'importe où.
  • Le nouveau bouton Ask AI ouvre dans la page un assistant entraîné sur Crawlbase pour poser n'importe quelle question sur la documentation sans la quitter.
  • L'API Playground interactif exécute de vrais appels à la Crawling API directement dans le navigateur, avec les en-têtes de réponse et un aperçu de la page rendue à côté du body.
  • Ajoutez .md à n'importe quelle URL de documentation (par ex. /docs/crawling-api.md) pour obtenir une copie Markdown propre à transmettre à un LLM.
  • Publication de /llms.txt comme index pour la découverte par les assistants IA.
  • Traductions allemande, française, russe et chinoise simplifiée rafraîchies sur toutes les pages pour un texte plus net et plus idiomatique.

2026-05-03 · Go SDK v0.1.0

  • Premier Go SDK officiel pour l'API Crawlbase. Un client CrawlingAPI unique, sans dépendances, idiomatique en Go.
  • Source : github.com/crawlbase/crawlbase-go. Documentation de référence publiée sur pkg.go.dev.

2026-05-02 · Intégration LangChain v0.1.0

Avril 2026

2026-04-24 · Crawling API : sortie Markdown

  • Le nouveau paramètre format=md sur la Crawling API renvoie du Markdown propre au lieu de HTML.
  • Associez-le à md_readability=true pour supprimer la navigation, les publicités et l'habillage avant conversion : même principe que le mode Lecteur.

2026-04-23 · Option d'appareil tablette

  • Le paramètre device de la Crawling API accepte désormais tablet en plus de desktop et mobile.

2026-04-23 · MCP Server v1.3.0 : outils de stockage

2026-04-23 · Plugin Codex

Mars 2026

2026-03-25 · Enterprise Crawler : queue_timeout

  • Le push de l'Enterprise Crawler accepte désormais queue_timeout, ce qui permet de plafonner la durée pendant laquelle une requête reste en file d'attente avant d'être abandonnée, plutôt que d'attendre indéfiniment.

Février 2026

2026-02-10 · Crawler renommé en Enterprise Crawler

  • Le produit asynchrone push/pull s'appelle désormais Enterprise Crawler dans le tableau de bord et la documentation, afin de le distinguer de la Crawling API synchrone.
  • Les endpoints, paramètres et tokens restent inchangés.

Novembre 2025

2025-11-25 · MCP Server v1.2.0 : auth & mode HTTP

  • Le serveur MCP prend désormais en charge l'authentification par en-tête et un mode de transport HTTP optionnel en plus de stdio : utile pour les configurations MCP partagées ou distantes.
  • Publié sous @crawlbase/[email protected].

2025-11-04 · Marque Crawlbase dans toutes les locales

  • Le renommage Crawlbase est désormais reflété dans chaque édition traduite de la documentation (auparavant uniquement en anglais).

Octobre 2025

2025-10-20 · Storage API renommée en Cloud Storage

  • Le produit de récupération et de rétention s'appelle désormais Cloud Storage dans la documentation, le tableau de bord et les noms de méthodes du SDK. Les endpoints /storage existants continuent de fonctionner.

Septembre 2025

2025-09-26 · Paramètre custom_success_code

  • La Crawling API gagne custom_success_code, permettant de marquer comme réussies les réponses non 2xx lors du scraping d'endpoints qui retournent légitimement par exemple 404 ou 451.

2025-09-16 · Smart Proxy → Smart AI Proxy

  • Smart Proxy est désormais nommé Smart AI Proxy, reflétant la logique de routage et de réessai pilotée par IA ajoutée en dessous. Aucun changement côté client.

Juillet 2025

2025-07-10 · Crawlbase MCP Server v1.0

Juin 2025

2025-06-25 · Smart Proxy : transmission des en-têtes et cookies

  • Smart Proxy transmet désormais les en-têtes de requête personnalisés et les cookies jusqu'au site cible : utile pour les crawls authentifiés et le scraping avec session épinglée.

2025-06-18 · Facturation de scroll_interval clarifiée

  • La documentation de la Crawling API détaille maintenant précisément comment scroll_interval est comptabilisé dans la facturation sur les pages à long défilement, afin de prédire le coût d'un crawl à défilement infini avant de le lancer.