AI & MCP
Branchez Crawlbase sur votre stack d'agents IA. Le serveur MCP donne à tout client compatible MCP (Claude Desktop, Cursor, VS Code, l'agent Codex d'OpenAI) un accès en direct et structuré au web : aucun modèle ne peut naviguer sans lui, et avec lui le modèle peut crawler, scraper et capturer un screenshot de n'importe quelle URL à la demande.
MCP (Model Context Protocol) est une spécification ouverte d'Anthropic pour connecter les assistants IA à des outils et données externes. Un serveur MCP expose un ensemble d'outils nommés (comme crawl_url, crawl_markdown, crawl_screenshot) que tout client compatible MCP peut découvrir et appeler. Le serveur MCP Crawlbase donne à votre agent les mêmes capacités de crawl et de scrape que celles fournies par la Crawling API : exposées comme des outils appelables par l'agent au lieu d'endpoints REST.
Commencez ici
ai-mcp: référence du serveur MCP. Étapes d'installation, outils exposés (avec schémas d'entrée/sortie), configuration client, variables d'environnement, notes de sécurité. La page la plus exhaustive de cette section : à lire en premier.
Utilisez-le avec votre client
Guides d'installation par client pour les IDEs et agents qui parlent déjà MCP :
ai-claude: Claude Desktop et Claude Code. Déposez un bloc JSON dans vos paramètres ; Claude peut crawler les URLs que vous mentionnez dans le chat.ai-cursor: Cursor. Le serveur MCP apparaît comme un outil que l'agent peut appeler en pleine conversation.ai-vscode: VS Code (avec Continue, Claude Code ou toute extension compatible MCP).ai-codexnew : agent OpenAI Codex. Ajoute Crawlbase comme outil connecté.ai-opencodenew : agent terminal OpenCode. Client MCP natif (local + distant, avec OAuth) : intègre les outils Crawlbase directement dans la boucle de codage en shell.
Patterns de prompts
ai-prompts: recettes pour demander au modèle d'utiliser efficacement les outils Crawlbase. Récupération RAG, flux de comparaison, recherche multi-étapes, raisonnement basé sur des screenshots : des formes de prompts éprouvées pour chaque cas.
Pourquoi router l'IA via Crawlbase
La plupart des clients LLM ne peuvent pas du tout naviguer sur le web en direct ; les rares qui le peuvent (chat augmenté par recherche, agents utilisant un navigateur) se heurtent aux mêmes murs que les scrapers humains : SPAs à forte charge JS, défis anti-bot, contenus géo-restreints, limites de débit. Le serveur MCP fournit à l'agent un outil qui a déjà résolu ces problèmes : chaque fonctionnalité Crawlbase (proxys résidentiels, rendu JS, contournement de bots, géo-routage, la bibliothèque de scrapers) est accessible depuis l'agent sans exposer le modèle à aucun détail d'implémentation.
Si vous lancez un produit basé sur un agent, c'est le moyen le moins coûteux de lui donner un véritable accès au web sans écrire votre propre couche d'automatisation de navigateur.