Un crawler de sitemap fait un seul travail ciblé : il lit le fichier sitemap.xml d'un site, parcourt chaque URL que le fichier déclare, et vous renvoie une liste propre et dédupliquée de pages. Cela peut sembler modeste, mais c'est la colonne vertébrale d'un processus SEO efficace. Si vous ne pouvez pas énumérer chaque page qu'un moteur de recherche est censé trouver, vous ne pouvez pas auditer la couverture, repérer les pages orphelines, ou fournir à un scraper une liste fiable de cibles à récupérer.
Ce guide explique ce qu'est un sitemap, comment les crawlers l'utilisent, puis passe en revue douze outils pour lire et générer des sitemaps. À la fin, vous saurez lequel convient à une recherche rapide dans le navigateur, lequel convient à un pipeline de développeur, et lequel convient à un audit SEO entreprise, afin que vous puissiez choisir par travail plutôt que par nom.
Qu'est-ce qu'un sitemap et comment les crawlers l'utilisent-ils ?
Un sitemap est un fichier, presque toujours nommé sitemap.xml, qui liste les pages les plus importantes d'un site. Les utilisateurs et les moteurs de recherche l'utilisent tous deux pour s'orienter, mais sa vraie valeur est pour les bots : il donne à un moteur de recherche un manifeste structuré unique d'URL à indexer plutôt que de le forcer à découvrir chaque page uniquement via des liens. Un sitemap ne garantit pas qu'un crawler visitera chaque page, mais il rend une indexation complète bien plus probable.
Le fichier est du XML simple. Chaque page se trouve dans une entrée <url> avec une adresse <loc>, et les grands sites divisent leurs pages en plusieurs sitemaps enfants regroupés sous un <sitemapindex>. Un crawler de sitemap lit cette structure de haut en bas : il récupère l'index, suit chaque sitemap enfant (décompressant les fichiers gzippés), et rassemble chaque <loc> en une liste unique. Les bons crawlers gèrent les sitemaps imbriqués récursivement, de sorte qu'un sitemap pointant vers d'autres sitemaps se résout quand même en un ensemble plat de vraies URL de pages.
Pourquoi les sitemaps importent pour le SEO et la couverture
Les sitemaps sont plus précieux pour les sites qui dépendent beaucoup de JavaScript, où les pages se rendent dans le navigateur et sont plus difficiles à atteindre pour un bot via le crawling seul. Ils donnent aux moteurs de recherche un aperçu rapide des sujets et services d'un site, et vous permettent d'ajouter une nouvelle section qu'un crawler récupérera rapidement. Tout aussi utile pour les propriétaires de sites, un sitemap aide à révéler les liens cassés, incorrects ou manquants, ce qui en fait une liste de contrôle pratique lors d'une refonte ou d'un nettoyage de contenu. Un sitemap bien structuré améliore la complétude et la rapidité d'indexation d'un site, et c'est cette couverture dont dépend finalement le SEO.
Les 12 meilleurs crawlers de sitemap
Les outils ci-dessous se divisent en deux groupes : les crawlers et extracteurs qui lisent un sitemap.xml existant et en extraient les URL, et les générateurs qui construisent un sitemap pour un site qui n'en a pas. Plusieurs font les deux. Ils sont listés dans l'ordre qu'un flux de travail SEO ou développeur typique tend à les atteindre, des crawlers polyvalents aux bibliothèques spécifiques aux langages, jusqu'aux générateurs visuels.
1. Crawlbase
Crawlbase est une plateforme de données web dont la Crawling API est conçue pour récupérer des pages à grande échelle, ce qui en fait un bon choix une fois que vous avez les URL qu'un sitemap vous fournit. Elle est facile à intégrer dans une application ou un pipeline, et elle gère les CAPTCHAs, la rotation des proxies et le rendu du navigateur pour vous, afin que vous ne gériez pas vous-même cette infrastructure. Pour le travail SEO, la valeur est dans la deuxième étape : un crawler de sitemap énumère les pages d'un site, et Crawlbase récupère chacune de ces pages de façon fiable pour que vous puissiez collecter des données on-page sur l'ensemble. Un niveau gratuit vous permet de crawler plusieurs URL avant de vous engager sur un plan payant.
2. XML Sitemap Extractor
XML Sitemap Extractor par Rob Hammond est un outil web que vous exécutez directement depuis un navigateur, sans rien à installer. Donnez-lui une URL de sitemap et il renvoie la liste des URL que le sitemap contient, ainsi qu'un décompte du total. C'est la façon la plus rapide de répondre à une question simple, à savoir ce que contient ce sitemap, et il convient à quiconque veut une recherche rapide plutôt qu'une configuration de code.
3. ScrapeBox
ScrapeBox est un outil de bureau de longue date populaire parmi les professionnels du SEO et les spécialistes du marketing Internet. Son scraping de sitemap se trouve dans un module complémentaire dédié plutôt que dans le produit de base, donc la version standard n'inclut pas le Sitemap Scraper, et vous avez besoin d'un abonnement ScrapeBox pour l'utiliser. Pour les praticiens utilisant déjà ScrapeBox pour d'autres tâches SEO, c'est l'un des scrapers de sitemaps les plus puissants disponibles, mais c'est un outil payant orienté Windows destiné aux utilisateurs SEO intensifs plutôt qu'aux utilisateurs occasionnels.
4. Ultimate Sitemap Parser
Ultimate Sitemap Parser est une bibliothèque Python pour les développeurs qui veulent analyser des sitemaps dans leur propre code. Il comprend la hiérarchie complète des sitemaps, y compris les index de sitemaps imbriqués, sans consommer beaucoup de mémoire, et il renvoie un arbre d'objets qui facilite la navigation dans les sitemaps analysés. Il convient aux ingénieurs Python qui construisent un pipeline de crawl ou d'audit et veulent un analyseur fiable et bien maintenu plutôt que d'écrire eux-mêmes la gestion XML.
5. WebScraper.io
WebScraper.io est un scraper extension de navigateur qui fonctionne sur les sites Ajax lourds et rendus par JavaScript, et il peut lire des URL directement depuis sitemap.xml. Il supporte les fichiers sitemap simples et compressés, et quand il trouve un sitemap imbriqué dans un autre sitemap, il cherche récursivement pour résoudre l'ensemble complet des URL. C'est un bon choix pour les personnes qui veulent un outil pointer-cliquer qui gère les sites dynamiques modernes sans code.
6. XML Sitemap URL Scraper
XML Sitemap URL Scraper est une bibliothèque Node et JavaScript pour lire des sitemaps XML de façon programmatique. Il gère les sitemaps compressés imbriqués dans des balises <sitemapindex>, décompresse les sitemaps enfants et renvoie leurs URL dans un tableau de sortie. Il traite plusieurs sitemaps compressés en parallèle, ce qui maintient la mémoire et la charge CPU basses quand vous en analysez beaucoup. Il convient aux développeurs Node qui ont besoin de l'analyse de sitemap comme élément constitutif d'un projet JavaScript plus grand.
7. Slickplan
Slickplan est un générateur de sitemap visuel plutôt qu'un lecteur. Vous pouvez construire un sitemap de zéro ou l'alimenter à partir d'une URL de site existante, d'un fichier d'index de sitemap ou d'un fichier Google XML, et il est livré avec un plugin WordPress. Son éditeur visuel vous permet de mettre en page et tester la structure du site dans le cadre d'un processus de conception web, donc il convient aux designers et aux planificateurs de contenu qui façonnent l'architecture d'information d'un site plus qu'aux ingénieurs qui extraient des URL.
8. DYNO Mapper
DYNO Mapper produit des sitemaps visuels interactifs qui reflètent la vraie structure d'un site, et il peut crawler jusqu'à 200 000 pages par crawl. Son éditeur de sitemap vous permet de réorganiser, catégoriser et prioriser les pages, ce qui le rend utile pour les audits de contenu à grande échelle et pour présenter la structure du site aux parties prenantes. Il convient aux équipes qui ont besoin à la fois d'un crawl et d'une carte visuelle du résultat plutôt que d'une simple liste d'URL brutes.
9. Google XML Sitemaps (plugin)
Google XML Sitemaps est un plugin WordPress pour générer des sitemaps qui aident les moteurs de recherche, notamment Google, Bing, Yahoo et Ask.com, à indexer un site plus complètement. Il expose votre structure complète aux crawlers et supporte des URL personnalisées aux côtés des pages que WordPress génère automatiquement. C'est une option gratuite et ciblée pour les propriétaires de sites WordPress qui veulent un sitemap maintenu sans quitter leur CMS.
10. Lumar
Lumar (anciennement Deepcrawl) est une plateforme SEO technique entreprise qui traite le crawling de sitemap comme une fonctionnalité parmi une suite d'intelligence de site plus large. Elle rassemble les données de crawl, les flux de travail d'équipe et les insights pour soutenir le classement dans la recherche organique à grande échelle. Elle convient aux organisations plus grandes ayant besoin d'intelligence de site sur de nombreux domaines et audits, et elle est tarifée et positionnée pour ce public plutôt que pour une simple recherche de sitemap ponctuelle.
11. FMiner
FMiner est un outil de crawling et de scraping web visuel qui gère le crawling de sitemap aux côtés de l'extraction de données générale et du screen scraping. Vous le configurez via des menus déroulants, la correspondance de motifs d'URL et un planificateur, et il fonctionne sur Windows et Mac. Il convient aux utilisateurs qui préfèrent une interface visuelle sans code pour construire des crawls et veulent la gestion des sitemaps dans le cadre d'une boîte à outils de scraping plus large.
12. ParseHub
ParseHub est une application de bureau qui scrape des pages interactives et est une option capable pour le crawling piloté par sitemap. Il exporte les résultats vers Excel et JSON et s'intègre avec des outils comme Tableau et Google Sheets, donc les données que vous récupérez arrivent quelque part où vous pouvez les analyser. Il convient aux analystes et aux non-développeurs qui veulent un scraper visuel qui alimente directement un flux de travail de reporting.
Résumé : quel crawler de sitemap convient à quel travail
| Outil | Meilleur pour | Type |
|---|---|---|
| Crawlbase | Récupérer les URL découvertes à grande échelle | Niveau gratuit + payant |
| XML Sitemap Extractor | Recherche rapide dans le navigateur | Gratuit |
| ScrapeBox | Utilisateurs SEO intensifs sous Windows | Payant (module complémentaire) |
| Ultimate Sitemap Parser | Pipelines de crawl Python | Gratuit (bibliothèque) |
| WebScraper.io | Scraping sans code de sites dynamiques | Gratuit + payant |
| XML Sitemap URL Scraper | Pipelines Node/JavaScript | Gratuit (bibliothèque) |
| Slickplan | Planification et conception visuelle de sitemap | Payant |
| DYNO Mapper | Grands audits de contenu visuels | Payant |
| Google XML Sitemaps | Génération de sitemap WordPress | Gratuit (plugin) |
| Lumar | SEO technique entreprise | Payant |
| FMiner | Crawling visuel sans code | Payant |
| ParseHub | Scraping visuel adapté aux analystes | Gratuit + payant |
Du sitemap aux pages crawlées
Lire un sitemap n'est que la première moitié du travail. Le résultat est une liste d'URL, et la partie la plus difficile est de récupérer chacune de ces pages de façon fiable, surtout sur un grand site où certaines pages se rendent avec JavaScript, certaines se trouvent derrière des défenses anti-bot, et quelques-unes vous limiteront en débit dès que vous crawlerez en masse. C'est l'étape où un analyseur de sitemap passe le relais à un outil de récupération.
Une fois qu'un crawler de sitemap vous a fourni la liste d'URL, la Crawling API récupère chaque page pour vous, gérant le rendu du navigateur, la rotation des proxies et les CAPTCHAs afin que les blocages et JavaScript ne déraillent pas le crawl. Pour les grands sitemaps, le Crawler asynchrone met en file d'attente des milliers de ces URL et renvoie les résultats au fur et à mesure, afin que vous puissiez crawler chaque page déclarée par un sitemap sans gérer vous-même l'infrastructure.
Si vous construisez vous-même cette étape de récupération, les mêmes modèles de scraping d'un site web avec Python et de crawling de sites JavaScript s'appliquent directement : alimentez les URL du sitemap, rendez là où c'est nécessaire, et acheminez les requêtes pour ne pas être bloqué à mi-chemin.
Les grands sites publient rarement un sitemap plat unique. Ils publient un index de sitemap qui pointe vers des dizaines de sitemaps enfants, souvent gzippés. Quand vous choisissez un outil, confirmez qu'il suit l'index récursivement et décompresse les enfants, sinon vous ne capturerez qu'une fraction des vraies URL.
Comment choisir un crawler de sitemap
Le bon outil dépend de ce que vous faites avec le sitemap, pas de celui qui est en tête d'une liste. Trois questions le réduisent rapidement.
-
Lire ou générer ? Si un site a déjà un
sitemap.xml, utilisez un extracteur ou une bibliothèque (XML Sitemap Extractor, Ultimate Sitemap Parser, XML Sitemap URL Scraper). Si vous avez besoin d'en construire un, utilisez un générateur (Slickplan, Google XML Sitemaps, DYNO Mapper). - Code ou sans code ? Les développeurs qui construisent un pipeline veulent les bibliothèques Python ou Node. Les marketeurs et analystes veulent les outils de navigateur et de bureau (WebScraper.io, FMiner, ParseHub) ou une plateforme visuelle (Lumar, DYNO Mapper).
- Quelle échelle ? Une recherche ponctuelle nécessite un outil de navigateur gratuit. Un audit entreprise sur de nombreux domaines nécessite une plateforme comme Lumar. La récupération de chaque URL déclarée par un grand sitemap nécessite une API de crawling conçue pour le volume.
Points clés
- Un crawler de sitemap lit sitemap.xml et renvoie une liste d'URL propre. Il suit l'index de sitemap récursivement et décompresse les sitemaps enfants gzippés pour résoudre chaque vraie page.
- Les sitemaps pilotent la couverture SEO. Ils donnent aux moteurs de recherche un manifeste structuré de pages, ce qui compte le plus sur les sites JavaScript lourds et pendant les refontes.
- Adaptez l'outil au travail. Extracteurs de navigateur pour les recherches rapides, bibliothèques Python et Node pour les pipelines, plateformes visuelles pour les audits et la génération.
- Lire le sitemap n'est que la moitié du travail. Récupérer chaque URL découverte de façon fiable, à travers le rendu et les défenses anti-bot, est la deuxième étape la plus difficile.
- Confirmez le support de l'index et de la compression. Un outil qui ne suit pas les sitemaps imbriqués et gzippés manquera silencieusement la plupart des URL d'un grand site.
Foire aux questions
Qu'est-ce qu'un crawler de sitemap ?
Un crawler de sitemap est un outil qui lit le fichier sitemap.xml d'un site, suit chaque URL qu'il déclare (y compris les sitemaps enfants regroupés sous un index de sitemap), et renvoie une liste dédupliquée des pages du site. C'est le point de départ pour auditer la couverture, trouver les pages orphelines, ou fournir à un scraper une liste fiable de cibles.
Quelle est la différence entre un crawler de sitemap et un générateur de sitemap ?
Un crawler ou extracteur lit un sitemap existant et en extrait les URL, tandis qu'un générateur construit un nouveau sitemap pour un site qui n'en a pas. Certains outils font les deux. Utilisez un extracteur ou une bibliothèque quand le sitemap existe déjà, et un générateur comme Google XML Sitemaps ou Slickplan quand vous avez besoin d'en créer un.
Dois-je coder pour crawler un sitemap ?
Non. Les outils de navigateur comme XML Sitemap Extractor et les applications de bureau comme ParseHub et FMiner vous permettent de lire des sitemaps sans écrire de code. Si vous construisez un pipeline, des bibliothèques comme Ultimate Sitemap Parser (Python) et XML Sitemap URL Scraper (Node) vous donnent le même résultat en code.
Comment les crawlers gèrent-ils les sitemaps compressés et imbriqués ?
Les grands sites publient un index de sitemap qui pointe vers de nombreux sitemaps enfants, souvent gzippés pour économiser la bande passante. Un crawler capable suit l'index récursivement, décompresse chaque enfant gzippé et rassemble chaque URL <loc> en une liste plate unique. Les outils sans ce support ne capturent qu'une partie du site, donc cela vaut la peine de le confirmer avant de vous fier à la sortie.
En quoi les sitemaps sont-ils utiles pour le SEO ?
Un sitemap donne aux moteurs de recherche un manifeste structuré des pages que vous voulez indexées, ce qui améliore la complétude et la rapidité du crawl d'un site. C'est particulièrement précieux sur les sites JavaScript lourds et pendant les refontes, et il vous aide à révéler les liens cassés ou manquants afin que vous puissiez corriger les lacunes de couverture avant qu'elles ne coûtent des classements.
Comment Crawlbase s'intègre-t-il dans un flux de travail de sitemap ?
Un crawler de sitemap vous donne la liste des URL, et Crawlbase récupère chacune de ces pages à grande échelle. La Crawling API gère le rendu, la rotation des proxies et les CAPTCHAs, et le Crawler asynchrone met en file d'attente les grands ensembles d'URL et renvoie les résultats au fur et à mesure, afin que vous puissiez crawler de façon fiable chaque page déclarée par un sitemap sans gérer l'infrastructure sous-jacente.
Crawlez n'importe quel site à grande échelle, sans combattre l'infrastructure.
Crawlbase gère les proxies, les empreintes et les CAPTCHA afin que votre équipe livre des pipelines de données au lieu de maintenir la plomberie de crawl. 1 000 requêtes gratuites, sans carte requise.