Se connecter

n8n

Automatisation open-source, vos serveurs. Le nœud communautaire Crawlbase pour n8n vous donne accès aux mêmes APIs dans un workflow auto-hébergé, sans verrouillage SaaS.

Installation

Le nœud Crawlbase est publié en tant que nœud communautaire. Installez-le depuis votre instance n8n :

  1. Allez dans Settings → Community Nodes → Install a community node.
  2. Saisissez n8n-nodes-crawlbase et cliquez sur Install.
  3. Redémarrez n8n si demandé. Le nœud Crawlbase apparaît désormais dans la recherche du canvas.

Identifiants

Ajoutez un identifiant Crawlbase API dans Settings → Credentials :

  1. Collez votre API Token depuis le tableau de bord Crawlbase.
  2. Cliquez sur Test connection pour vérifier la validité du token avant d'exécuter un workflow.

Utilisez votre Normal Token pour les cibles HTML et votre JavaScript Token pour les SPAs et les pages rendues en JS - créez un identifiant par niveau de token et choisissez le bon pour chaque nœud.

Le nœud Crawlbase

Un seul nœud Crawlbase encapsule la Crawling API. Déposez-le dans un workflow, associez-le à un identifiant et configurez les champs de requête ci-dessous.

Method
champ
GET, POST ou PUT. Utilisez POST/PUT lorsque la cible nécessite un body de requête.
Response format
champ
HTML (par défaut), JSON (sortie parsée du scraper) ou Markdown (texte propre pour les pipelines LLM).
Options
champ
Paramètres optionnels de la Crawling API - page_wait, country, device, request_headers, cookies, scraper, screenshot, store, async et utilitaires de rendu JS. Consultez la référence des paramètres de la Crawling API pour la liste complète.
Output
champ
Chaque élément renvoie statusCode, headers, body et metadata (avec originalStatus, cbStatus et l'url résolue).

Mode liste d'éléments

Définissez URL Source sur From input item field et nommez le champ qui contient l'URL (par exemple url). Le nœud exécute une requête Crawling API par élément en entrée et émet un élément en sortie par élément en entrée - branchez directement un nœud Read-from-Sheet, Split-In-Batches ou tout autre nœud produisant une liste.

Limites de débit et tentatives

Les limites de débit Crawlbase dépendent de votre plan. Pour garder des workflows résilients :

  • Activez l'option Retry On Fail de n8n sur le nœud Crawlbase (onglet Settings du nœud).
  • Définissez Wait Between Tries sur au moins 1 seconde - davantage si vous atteignez les limites.
  • Pour les grandes listes d'URL, traitez par lots avec Loop Over Items ou Split In Batches plutôt que d'envoyer toutes les requêtes en même temps.

Workflows courants

  • Schedule → Crawlbase → Postgres : capture quotidienne de la page de tarification d'un concurrent dans une base de données.
  • Webhook → Crawlbase → Email : enrichissement de produits à la demande.
  • RSS → Crawlbase → Vector DB : alimentation d'un index de recherche auto-hébergé.