Les audits SEO manuels sont lents d'une façon qui se cumule. Vous ouvrez une page, lisez le titre, cherchez la méta description, examinez l'ordre des titres, comptez les liens internes, puis répétez cela pour l'URL suivante et celle d'après. À la dixième page vous survol, et le survol c'est ainsi que les hiérarchies cassées et les titres en doublon passent à travers. Le travail est mécanique, et c'est exactement le genre de travail qui vaut la peine d'être confié à une machine.
Ce guide vous montre comment automatiser les audits SEO avec le Crawlbase Web MCP. L'idée est simple : connectez un assistant IA comme Claude à un outil qui peut récupérer des pages live, puis demandez-lui de crawler une URL, d'extraire le titre, la méta, les titres, les liens et le statut, et de signaler tout ce qui semble anormal. Vous écrivez une seule invite et obtenez en retour un audit structuré plutôt qu'un mur de HTML. Tout ce qui suit est limité aux pages publiques que vous possédez ou avez la permission de vérifier.
Ce que le Web MCP fait réellement pour un audit SEO
MCP (Model Context Protocol) est une façon standard de donner à un assistant IA l'accès à des outils externes. Par lui-même, un modèle ne peut raisonner que sur le texte que vous collez ; il ne peut pas aller chercher une page live. Le Crawlbase Web MCP comble cette lacune. Il expose un petit ensemble d'outils que l'assistant peut appeler : donnez-lui une URL et il crawle la page via la Crawling API, la rend si nécessaire, et retourne du contenu propre que le modèle peut lire et analyser.
Cela compte parce que la partie difficile d'un audit n'est pas le jugement, c'est la collecte des données. Une fois que l'assistant peut extraire le vrai titre, les titres rendus, l'ensemble de liens réel et le statut HTTP, l'audit n'est que de la reconnaissance de schémas dans laquelle le modèle excelle : un H1 ou plusieurs, longueur de méta dans la plage ou non, liens présents ou manquants. Le serveur MCP gère le crawl derrière une IP fiable et retourne du markdown ; l'assistant gère l'analyse. Pour comprendre pourquoi alimenter des données web live à un modèle permet cela, voir alimenter des données web en temps réel aux LLMs.
De nombreuses pages rendent leur contenu côté client, et beaucoup de vrais sites challengent les requêtes HTTP brutes. Le Web MCP route les crawls via la Crawling API, qui rend JavaScript quand c'est nécessaire et utilise une IP fiable, pour que l'assistant voie la page finie plutôt qu'une coquille vide ou une page de blocage. C'est la différence entre auditer ce qu'un moteur de recherche voit et n'auditer rien.
Pourquoi c'est mieux que de lancer une autre plateforme SEO
Les suites SEO traditionnelles sont puissantes et, pour un audit rapide, représentent surtout de la surcharge. Vous vous connectez, naviguez dans des tableaux de bord que vous n'avez pas demandés, atteignez une limite de crédits de crawl, et exportez un rapport mis en forme à la façon du vendeur plutôt qu'à la façon dont vous en avez besoin. Pour une question ciblée comme "cette page de destination a-t-elle une structure de titres propre et une méta description dans la plage", c'est beaucoup de friction.
L'approche MCP inverse cela. Vous restez dans l'assistant que vous utilisez déjà, pointez-le exactement sur les pages qui vous intéressent, et définissez ce que "bon" signifie dans l'invite. Vérifiez le texte alternatif aujourd'hui et le schéma demain en changeant une seule ligne. Obtenez la sortie sous forme de tableau pour un coéquipier ou de JSON brut pour un script en le demandant. L'assistant exécute la boucle crawl-analyse-rapport, et vous gardez le contrôle sur la portée et le format.
Étape 1 : Connecter le Web MCP à votre assistant
Vous avez besoin d'un client compatible MCP (Claude Desktop est le choix courant) et d'un token Crawlbase. Récupérez le token depuis votre tableau de bord, puis ajoutez le serveur Crawlbase Web MCP à la configuration MCP de votre client. Un bloc de configuration typique ressemble à ceci.
{ "mcpServers": { "crawlbase": { "command": "npx", "args": ["-y", "@crawlbase/mcp"], "env": { "CRAWLBASE_TOKEN": "YOUR_CRAWLBASE_TOKEN" } } } }
Redémarrez le client pour qu'il prenne en compte le nouveau serveur, et l'assistant gagne un outil de crawl qu'il peut appeler de lui-même. La configuration prend généralement moins d'une minute. Si vous voulez un guide plus détaillé sur l'assemblage d'outils en exécutions répétables, le guide sur les workflows d'agents IA avec le Crawlbase Web MCP couvre les schémas en détail.
Étape 2 : Écrire l'invite d'audit
L'invite est là où vous transformez un crawl générique en audit SEO. Dites à l'assistant quelle page récupérer, quels champs extraire, et quelles règles vérifier. Soyez explicite sur les vérifications ; une vague "fais un audit SEO" vous donne une réponse vague, tandis qu'une checklist concrète vous donne quelque chose sur quoi agir.
Crawl https://example.com/landing-page and extract: - HTTP status code - Title tag and its character length - Meta description and its character length - All headings in order (H1, H2, H3) - Count of internal vs external links - Images missing alt text Then audit against these rules and flag any failures: - Exactly one H1, with a logical H2/H3 hierarchy - Title length between 50 and 60 characters - Meta description present, 150 to 160 characters - At least three internal links - No images missing alt text Return the result as JSON with a pass/fail per check.
L'assistant lit l'invite, appelle l'outil de crawl du Web MCP avec l'URL, attend la page rendue, et extrait chaque champ. Parce que vous avez demandé du JSON avec un pass/fail par vérification, vous obtenez un résultat lisible par machine plutôt que de la prose, ce qui facilite l'étape suivante (la mise à l'échelle).
Étape 3 : Lire la sortie de l'audit
Après le retour du crawl, l'assistant présente un rapport structuré. Pour l'invite ci-dessus, un résultat sur une seule page ressemble à ceci.
{ "url": "https://example.com/landing-page", "status": 200, "title": "Fast Web Data API for Developers", "titleLength": 32, "metaDescription": "Pull structured web data in one call.", "metaLength": 38, "headings": { "h1": 2, "h2": 5, "h3": 7 }, "links": { "internal": 4, "external": 9 }, "imagesMissingAlt": 3, "checks": { "singleH1": "fail", "titleLength": "fail", "metaLength": "fail", "internalLinks": "pass", "altText": "fail" }, "notes": "Two H1 tags found; title and meta are too short; 3 images lack alt text." }
D'un coup d'oeil vous voyez ce qui ne va pas : un H1 en doublon, un titre et une méta trop courts pour être utiles dans les résultats de recherche, et des images sans texte alternatif. Pas de HTML à faire défiler, juste le verdict et les raisons. Demandez à l'assistant de rendre les mêmes données sous forme de tableau markdown ou de liste de corrections priorisées et il le fera, puisqu'il détient déjà le résultat structuré en contexte.
Le Web MCP donne à votre assistant IA un outil de crawl soutenu par la Crawling API : il rend les pages, route via des IPs fiables, et retourne du contenu propre que le modèle peut auditer. Connectez-le une fois et transformez une seule invite en vérification SEO complète. Commencez en niveau gratuit et pointez-le sur une page que vous possédez.
Étape 4 : Passer d'une page à toute une section
Un audit d'une seule page est utile ; un audit à l'échelle d'une section est là où cela prouve sa valeur. Au lieu d'une URL, donnez à l'assistant une liste et demandez-lui d'exécuter les mêmes vérifications sur toutes, puis de résumer les échecs. Les crawls se font l'un après l'autre via le même outil MCP, et l'assistant agrège les résultats.
Run the SEO audit above on each of these URLs: - https://example.com/blog/post-one - https://example.com/blog/post-two - https://example.com/blog/post-three Then return one table: URL, status, and the count of failed checks per page, sorted worst first. List the three most common issues across the whole set.
Vous avez maintenant un rapport de section plutôt qu'un instantané : quelles pages sont les plus saines, lesquelles nécessitent une attention en premier, et quels problèmes se répètent sur le site. Exécutez-le mensuellement et comparez les comptages de vérifications échouées pour prouver que vos corrections portent leurs fruits. Pour les très grands travaux qui s'exécutent sans surveillance, vous pouvez déplacer les mêmes crawls sur le Crawler asynchrone, qui pousse les résultats vers un webhook pour que vous ne maintenez pas une session ouverte pour des centaines de pages, ou misez sur le Smart AI Proxy si vous préférez router les requêtes via un seul endpoint rotatif depuis votre propre outillage.
Conseils pour un workflow d'audit plus efficace
- Commencez par deux ou trois pages. Peaufinez l'invite et confirmez que la sortie est mise en forme comme vous le souhaitez avant de la pointer sur tout le site. Il est moins coûteux d'itérer petit.
- Sauvegardez l'invite une fois qu'elle fonctionne. Une invite qui produit de manière fiable le JSON que vous voulez est réutilisable ; conservez-la pour que chaque audit soit cohérent sans perdre les vérifications personnalisées.
- Soyez précis sur les vérifications. "Vérifie cette page produit pour le schéma de balisage et une balise canonique" est mieux que "fais un audit SEO". Plus la demande est étroite, plus la réponse est exploitable.
- Choisissez la sortie pour le lecteur. JSON pour un script, un tableau markdown pour un coéquipier, une liste priorisée pour un client. Demandez le format dont vous avez besoin plutôt que de reformater ensuite.
Garder les crawls fiables à grande échelle
La raison pour laquelle un audit MCP fonctionne sur de vrais sites et un script naïf souvent non se résume à la façon dont la page est récupérée. De nombreuses cibles rendent le contenu avec JavaScript et challengent le trafic qui ne ressemble pas à un vrai navigateur, donc une requête brute retourne une page blanche ou un blocage. Parce que le Web MCP crawle via la Crawling API, le rendu et les IPs fiables sont gérés pour vous, pour que l'assistant voie la même page qu'un visiteur verrait. Pour le contexte complet sur le maintien sans blocage sur des cibles plus difficiles, lisez comment scraper des sites web sans être bloqué.
Un cadrage à garder honnête : des chiffres comme les comptages de caractères et les totaux de liens ne sont bons qu'à la hauteur de la page rendue dont ils proviennent. Auditez la page telle qu'elle se rend réellement, pas la coquille brute, ou vos statistiques décrivent une page que personne ne voit.
Points clés
- Le Web MCP donne à votre assistant un outil de crawl. Il récupère des pages live via la Crawling API pour que le modèle puisse lire les vrais titres, titres de section, liens et statut au lieu de deviner à partir de texte collé.
- L'invite définit l'audit. Listez les champs à extraire et les règles à vérifier, et demandez du JSON avec un pass/fail par vérification pour que le résultat soit exploitable.
- Le rendu est ce qui le rend précis. Crawler via la Crawling API rend JavaScript et utilise des IPs fiables, pour que vous auditiez la page que les moteurs de recherche voient, pas une coquille vide.
- La mise à l'échelle est une liste, pas une reconstruction. Donnez à l'assistant de nombreuses URLs et les mêmes vérifications pour obtenir un rapport à l'échelle d'une section ; passez au Crawler asynchrone pour les très grandes exécutions.
- Sauvegardez l'invite qui fonctionne. Une invite réutilisable rend les audits cohérents mois après mois tout en conservant les vérifications personnalisées qui vous importent.
Foire aux questions
Qu'est-ce que le Crawlbase Web MCP et comment aide-t-il avec les audits SEO ?
Le Web MCP est un serveur Model Context Protocol qui donne à un assistant IA un outil pour crawler des pages web live via la Crawling API. Pour les audits SEO, cela signifie que l'assistant peut récupérer la page réelle et rendue et extraire le titre, la méta description, les titres, les liens et le statut HTTP, puis les vérifier par rapport aux règles que vous définissez dans votre invite. Le crawling est géré pour vous ; l'assistant fait l'analyse.
Ai-je besoin d'écrire du code pour exécuter un audit ?
Non. Après avoir ajouté le serveur MCP à la configuration de votre assistant avec votre token Crawlbase, tout l'audit s'exécute à partir d'invites en langage naturel. Vous demandez à l'assistant de crawler une URL et de la vérifier par rapport à vos règles, et il appelle l'outil de crawl de lui-même. Le code ne devient utile que si vous voulez planifier ou connecter la sortie JSON à autre chose.
Peut-il crawler des pages qui rendent le contenu avec JavaScript ?
Oui. Le Web MCP route les crawls via la Crawling API, qui rend JavaScript quand une page en a besoin et retourne le contenu fini. C'est important pour les audits, car une méta description ou un titre injecté par des scripts côté client serait invisible pour une simple récupération HTTP mais est ce que les moteurs de recherche et les visiteurs voient réellement.
Comment auditer de nombreuses pages à la fois ?
Donnez à l'assistant une liste d'URLs dans votre invite et demandez-lui d'exécuter les mêmes vérifications sur chacune, puis de retourner un seul tableau de résumé trié par nombre de vérifications échouées. Les crawls s'exécutent via le même outil MCP en séquence et l'assistant agrège les résultats. Pour les très grands lots qui doivent s'exécuter sans surveillance, déplacez les crawls sur le Crawler asynchrone, qui livre les résultats à un webhook.
Quels problèmes SEO l'audit peut-il signaler ?
Tout ce que vous pouvez décrire comme une règle par rapport au contenu de la page : plusieurs balises H1 ou une hiérarchie de titres cassée, des titres et méta descriptions trop longs ou trop courts, des méta descriptions manquantes, trop peu de liens internes, des images sans texte alternatif, des codes de statut non-200, et plus encore. Vous décidez de la checklist dans l'invite, donc l'audit correspond à vos normes plutôt qu'à un modèle fixe.
Est-ce un remplacement pour une plateforme SEO complète ?
C'est une alternative légère et flexible pour les audits ciblés, pas un remplacement individuel pour tout ce que fait une grande suite. Là où il gagne c'est la vitesse et le contrôle : vous restez dans l'assistant que vous utilisez déjà, pointez-le exactement sur les pages qui vous intéressent, et définissez quoi vérifier. Pour le suivi historique profond et l'analyse des backlinks, une plateforme dédiée a encore sa place, mais pour des audits de contenu rapides et ciblés, le workflow MCP est difficile à battre.
Crawlez n'importe quel site à grande échelle, sans combattre l'infrastructure.
Crawlbase gère les proxies, les empreintes et les CAPTCHA afin que votre équipe livre des pipelines de données au lieu de maintenir la plomberie de crawl. 1 000 requêtes gratuites, sans carte requise.