La plupart d'entre nous utilisons Google Search chaque jour sans jamais se demander ce qui se passe derrière la boîte de recherche. Vous tapez quelques mots, et en une fraction de seconde une liste de pages apparaît, tirée d'un index qui contient plus de texte que toutes les bibliothèques du monde réunies. La question naturelle qui suit, celle à laquelle cet article répond, est de savoir comment tout ce contenu s'y est retrouvé en premier lieu : comment Google scrape-t-il les sites web ?
La réponse courte est un pipeline. Google fait tourner un programme automatisé appelé Googlebot qui découvre des pages, les récupère, rend celles qui ont besoin de JavaScript, analyse le résultat et le stocke dans un index que le moteur de recherche lit lorsque vous l'interrogez. Cet article décrit chacune de ces étapes, explique les parties que vous pouvez contrôler en tant que propriétaire de site (sitemaps et robots.txt), et trace une ligne claire entre ce que Google fait pour construire la recherche et ce qu'un développeur fait lorsqu'il scrape des données du web.
Qu'est-ce que Googlebot ?
Googlebot est le robot d'exploration web de Google, parfois appelé araignée ou bot. C'est un logiciel qui parcourt le web automatiquement, en suivant les liens de page en page comme une personne cliquerait dans un site, sauf qu'il le fait continuellement et à une échelle énorme. Quand les gens demandent comment Google scrape les sites web, Googlebot est l'entité qui fait le travail : il télécharge le texte, les images et tout autre contenu des pages qu'il visite afin que Google puisse les analyser et les stocker.
Il est utile de séparer deux idées qui se confondent souvent. Le crawling est l'acte de récupérer une page et de lire son contenu. L'indexation est l'acte d'analyser ce contenu et de le classer pour pouvoir le retrouver plus tard. Googlebot crawle ; les systèmes d'indexation de Google indexent. Les deux doivent se produire avant qu'une page puisse apparaître dans les résultats, et une troisième étape, la diffusion, s'exécute à chaque fois que vous effectuez une vraie recherche. Pour une vue plus large du fonctionnement des araignées en général, consultez notre introduction à ce qu'est un robot d'exploration web.
Comment fonctionne Google Search en trois étapes
Google décrit son propre processus en trois étapes, et c'est le bon modèle mental pour commencer :
- Crawling. À l'aide de programmes automatisés, Google télécharge continuellement du texte, des images et des vidéos depuis les pages qu'il trouve sur le web. Il ne peut pas indexer une page qu'il n'a jamais récupérée.
- Indexation. Lors du traitement d'une page, Google analyse son texte et ses fichiers multimédias et stocke ce qu'il apprend dans l'index, une vaste base de données de pages et de leur contenu.
- Diffusion. Lorsque vous effectuez une recherche, Google retourne les résultats les plus pertinents qu'il peut trouver dans cet index, classés par des centaines de signaux.
Ce résumé cache beaucoup de mécanismes, et le scraping se situe juste au milieu. Avant qu'une page puisse apparaître sur une page de résultats de moteur de recherche (SERP), Googlebot doit la trouver, la récupérer et la transmettre pour indexation. La suite de cet article ouvre ce milieu.
Comment Google scrape-t-il les sites web, étape par étape ?
Le chemin d'une URL inconnue à un résultat sur lequel vous pouvez cliquer se décompose en cinq étapes. Chacune peut réussir, se bloquer ou échouer seule, ce qui explique pourquoi une page peut être crawlée mais jamais indexée, ou indexée mais rarement diffusée.
1. Découverte : comment Google trouve vos pages
Google ne peut pas crawler une page dont il ignore l'existence, donc tout commence par la découverte. Il existe deux voies principales. La première est les liens : quand Googlebot crawle une page qu'il connaît déjà, il lit chaque ancre sur cette page et ajoute les destinations à une file d'attente d'URL à visiter, souvent appelée la frontière de crawl. Un lien depuis une page déjà indexée est le moyen le plus courant pour une nouvelle page d'être trouvée. La deuxième voie est les sitemaps : un propriétaire de site peut fournir à Google une liste explicite d'URL, ce que nous couvrons ci-dessous.
C'est aussi là qu'un webmaster entre en scène pour la première fois. Lorsque vous publiez un site, vous pouvez informer Google en le soumettant via Google Search Console et en permettant à Googlebot d'atteindre vos pages. En effet, vous dites : voici mon adresse, venez voir. Google répond en envoyant son robot pour confirmer que le site existe, voir quelles pages sont disponibles et apprendre quel type de contenu elles contiennent.
2. Crawling : récupération de la page
Une fois qu'une URL est dans la frontière, Googlebot la récupère comme un navigateur le ferait : il fait une requête HTTP et télécharge la réponse. Google ne crawle pas chaque URL connue à chaque passage, et ne frappe pas un seul site aussi vite que possible. Il travaille dans un budget de crawl, une limite pratique sur le nombre de pages qu'il récupérera d'un site donné dans une fenêtre donnée. Ce budget est façonné par deux choses : la quantité de crawling que le serveur peut gérer sans ralentir (taux de crawl), et l'intérêt que Google porte aux pages, en fonction de leur popularité et de la fréquence de leurs changements (demande de crawl). Un petit site stable est généralement crawlé confortablement dans le budget ; un site énorme qui enfouit de nouvelles pages à de nombreux clics de profondeur peut en trouver certaines crawlées rarement ou tardivement.
3. Rendu : exécution du JavaScript
Beaucoup de pages modernes ne livrent pas leur contenu réel dans le HTML initial. Elles envoient une enveloppe fine puis construisent la page visible avec JavaScript dans le navigateur. Si Google ne lisait que le HTML brut, il manquerait entièrement ce contenu. Donc pour les pages qui en ont besoin, Googlebot rend la page comme Chrome le fait : il exécute le JavaScript, laisse les scripts injecter leur contenu, puis travaille avec la page entièrement construite. Le rendu est plus coûteux qu'une simple récupération, donc il peut se produire lors d'un passage ultérieur plutôt qu'immédiatement. La leçon pratique pour les propriétaires de sites est que le contenu qui n'apparaît qu'après l'exécution de JavaScript peut prendre plus de temps à être vu, et le contenu qui dépend d'un clic utilisateur peut ne pas être vu du tout. Si vous construisez ou scrapez vous-même ces types de pages, notre guide sur le crawling de sites web JavaScript couvre la mécanique.
4. Analyse et indexation : donner du sens à la page
Avec la page récupérée et rendue, Google analyse le HTML pour en extraire les parties importantes : le contenu textuel, les titres, les liens, les images et leur texte alternatif, les données structurées et les métadonnées. C'est la même étape d'analyse qu'effectue tout robot d'exploration, la lecture du balisage pour en extraire le sens. Les informations extraites sont ensuite analysées et écrites dans l'index de Google, l'énorme base de données qui associe des mots et des sujets aux pages qui les couvrent. L'indexation est aussi l'étape où Google décide si une page vaut la peine d'être stockée ; les pages minces, dupliquées ou bloquées peuvent être crawlées et quand même exclues de l'index.
5. Diffusion et classement : répondre à la requête
L'indexation remplit la bibliothèque ; la diffusion est ce qui se passe quand quelqu'un entre avec une question. Quand vous cherchez, Google parcourt l'index à la recherche de pages correspondantes et les classe selon de nombreux signaux, notamment la pertinence et la qualité du contenu, l'autorité et la fiabilité apparente du site, et le contexte comme votre langue et votre localisation. Le classement est un problème distinct du scraping, mais c'est la raison pour laquelle le scraping existe : Google récupère et indexe le web pour qu'au moment de la requête, il ait quelque chose de bon à classer et à retourner.
Googlebot peut récupérer, rendre JavaScript et ignorer les blocages parce que Google exploite l'infrastructure pour le faire. Si vous avez besoin de cette même capacité pour votre propre crawling, sans construire une ferme de rendu et un pool de proxies, la Crawling API le gère en une seule requête : elle rend les pages, fait tourner des IP d'utilisateurs réels et absorbe les CAPTCHAs, donc vous pointez vers une URL et obtenez du HTML propre plutôt qu'une page de blocage. Commencez sur le niveau gratuit avec 1 000 requêtes, sans carte de crédit.
Sitemaps et robots.txt : les deux fichiers qui orientent Googlebot
La plupart des crawls sont automatiques, mais les propriétaires de sites disposent de deux fichiers standard pour le guider. Ils tirent dans des directions opposées, et bien les utiliser tous les deux est au cœur du SEO technique.
Le sitemap : voici ce qu'il faut crawler
Un sitemap est un fichier XML qui liste les URL que vous voulez que Google connaisse, éventuellement avec des indications comme la date de dernière modification de chaque page. Il ne force pas Google à crawler quoi que ce soit, mais c'est le moyen le plus clair de faire remonter des pages que les liens seuls pourraient ne pas révéler, comme le nouveau contenu, les pages profondes ou les sections avec peu de liens internes. Vous soumettez un sitemap via Google Search Console, le même endroit où vous confirmez la propriété de votre site. Pensez-y comme remettre à l'explorateur une table des matières plutôt que de le laisser trouver chaque chapitre en errant.
robots.txt : voici ce qu'il faut laisser tranquille
Le fichier robots.txt se trouve à la racine de votre domaine et indique aux robots bien élevés quels chemins ils peuvent et ne peuvent pas récupérer. Googlebot le lit avant de crawler et respecte ses règles Disallow. Il est utile pour garder le robot hors des zones qui gaspillent le budget de crawl ou qui ne devraient pas apparaître dans les recherches, comme les résultats de recherche internes ou les chemins de staging. Un malentendu courant mérite d'être signalé : robots.txt contrôle le crawling, pas l'indexation. Une page bloquée dans robots.txt peut quand même être indexée sans son contenu si Google trouve des liens vers elle ailleurs ; pour garder une page hors de l'index, vous utilisez une directive noindex à la place, ce qui signifie que la page doit être crawlable pour que Google voie cette instruction.
En quoi cela diffère d'un développeur qui scrape des données
Les gens appellent souvent ce que fait Google du scraping, et au niveau de la récupération et de l'analyse des pages, c'en est. Mais il existe de vraies différences entre Googlebot qui construit un index de recherche et un développeur qui scrape un site spécifique pour des données, et ces différences comptent.
Le travail de Googlebot est l'étendue : découvrir autant du web public que possible, stocker une copie à usage général et la classer pour des requêtes arbitraires ultérieures. Le scraper d'un développeur est généralement l'opposé, étroit et ciblé : il visite un ensemble connu de pages et extrait des champs spécifiques, comme des prix, des avis ou des listes, dans un format structuré comme JSON ou CSV. Googlebot suit les liens vers l'extérieur pour trouver de nouvelles pages ; un scraper typique suit un schéma connu d'URL pour collecter des données connues.
L'autre grande différence est la permission et l'accueil. Les propriétaires de sites veulent généralement que Googlebot les crawle, parce qu'être dans l'index est la façon dont ils obtiennent du trafic, donc ils publient des sitemaps et ouvrent les bons chemins dans robots.txt spécifiquement pour l'inviter. Un scraper tiers n'a pas cette invitation permanente, c'est pourquoi il doit respecter les mêmes règles robots.txt, s'identifier honnêtement et maintenir son taux de requêtes raisonnable. Les moteurs de recherche eux-mêmes font tourner des défenses matures contre la collecte automatisée non désirée de leurs propres résultats, ce qui est son propre sujet ; nous le couvrons dans comment les moteurs de recherche détectent les scrapers. Et si votre intérêt est la SERP sur plusieurs fournisseurs plutôt qu'un seul site, le scraping web de Google, Yahoo et Bing compare ce que chaque moteur expose.
Pourquoi scraper Google en premier lieu ?
Google domine la recherche, représentant la grande majorité de toutes les recherches web mondiales, donc les données sur ses pages de résultats sont réellement précieuses pour quiconque fait du marketing, de la recherche ou de l'analyse concurrentielle. Google n'offre pas de moyen simple intégré d'exporter des données SERP à grande échelle, ce qui explique exactement pourquoi les développeurs le scrapent. Les raisons courantes et légitimes comprennent :
- Suivi SEO. Surveiller comment vos pages se classent pour des requêtes spécifiques au fil du temps pour mesurer les performances de recherche.
- Analyse concurrentielle et de marché. Observer qui se classe au-dessus de vous, et suivre les prix ou le positionnement dans votre espace.
- Recherche de mots-clés et de contenu. Identifier les mots-clés pertinents et construire des listes d'URL à partir des pages qui correspondent à un sujet.
- Intelligence publicitaire. Observer quels résultats payants apparaissent pour quels termes, aux côtés des listes organiques.
- Analyse des tendances. Repérer les changements dans ce qui se classe, ce qui peut donner des indications sur la façon dont l'algorithme pondère les résultats.
Scraper de manière responsable
Si vous scrapez le web vous-même, la posture responsable est la même qui vous évite des ennuis techniquement. Respectez les conditions d'utilisation de chaque site et ses directives robots.txt, et gardez à l'esprit que les conditions d'un moteur de recherche restreignent généralement le scraping de la SERP elle-même. Privilégiez les données publiques par rapport à tout ce qui se trouve derrière une connexion ou un paywall, et ne collectez pas de données personnelles que vous n'avez aucune base pour traiter. Gardez votre taux de requêtes raisonnable pour ne pas concurrencer les vrais utilisateurs pour la capacité d'un site, identifiez honnêtement votre trafic là où cela est attendu, et mettez en cache les résultats pour ne pas re-récupérer les mêmes pages. Une collecte polie, publique et à taux limité est à la fois le choix éthique et celui qui a le moins de chances de vous faire bloquer.
Points clés
- Googlebot est le moteur. Le robot d'exploration de Google découvre, récupère et télécharge des pages pour qu'elles puissent être analysées et stockées ; le crawling et l'indexation sont des étapes distinctes.
- Le pipeline comporte cinq étapes. Découvrir, crawler, rendre, analyser et indexer, puis diffuser. Une page peut se bloquer à n'importe laquelle, donc « crawlée » ne signifie jamais automatiquement « indexée » ou « classée ».
- JavaScript nécessite un rendu. Le contenu construit par des scripts côté client n'est vu qu'après que Google ait rendu la page, une étape supplémentaire et plus lente qui peut retarder ou manquer le contenu à chargement tardif.
-
Deux fichiers orientent le crawl. Les sitemaps indiquent à Google ce qu'il doit crawler ;
robots.txtlui indique ce qu'il doit ignorer, et il gouverne le crawling plutôt que l'indexation. - Le crawl de Google n'est pas votre scraper. Googlebot crawle largement sur invitation pour construire un index ; un développeur scrape de façon ciblée pour des champs spécifiques et doit respecter les règles qu'un site établit.
Foire aux questions
Comment Google scrape-t-il les sites web ?
Google utilise un robot d'exploration automatisé appelé Googlebot. Il découvre les URL via des liens et des sitemaps, récupère chaque page avec une requête HTTP, rend la page (en exécutant son JavaScript) si nécessaire, puis analyse le résultat pour extraire le texte, les liens et les métadonnées. Ces informations sont écrites dans l'index de Google, que le moteur de recherche lit pour répondre aux requêtes.
Quelle est la différence entre le crawling et l'indexation ?
Le crawling consiste à récupérer une page et à lire son contenu ; l'indexation consiste à analyser ce contenu et à le stocker pour pouvoir le retrouver plus tard. Googlebot fait le crawling, et les systèmes d'indexation de Google font l'indexation. Une page doit être crawlée avant de pouvoir être indexée, mais être crawlée ne garantit pas qu'elle sera indexée.
Qu'est-ce que le budget de crawl ?
Le budget de crawl est la limite pratique sur le nombre de pages que Google récupérera d'un site donné dans une période donnée. Il est façonné par la quantité de crawling que votre serveur peut gérer sans ralentir et par l'intérêt que Google porte à vos pages, en fonction de leur popularité et de la fréquence de leurs changements. Les petits sites sont rarement contraints par lui ; les très grands sites peuvent l'être.
Googlebot exécute-t-il JavaScript ?
Oui. Pour les pages dont le contenu est construit par des scripts côté client, Googlebot rend la page comme Chrome, en exécutant le JavaScript avant d'analyser le résultat. Le rendu est plus coûteux qu'une simple récupération, donc il peut se produire lors d'un passage ultérieur, ce qui signifie que le contenu dépendant des scripts peut prendre plus de temps à être indexé.
Comment les sitemaps et robots.txt affectent-ils le crawling ?
Un sitemap est une liste d'URL que vous voulez que Google connaisse, utile pour faire remonter des pages nouvelles ou profondes. Le fichier robots.txt indique aux robots quels chemins éviter. Les sitemaps invitent le crawling et robots.txt le restreint, mais notez que robots.txt contrôle le crawling, pas l'indexation ; garder une page hors de l'index nécessite une directive noindex sur une page crawlable.
Le scraping des résultats de recherche Google est-il la même chose que ce que fait Googlebot ?
Pas tout à fait. Googlebot crawle le web ouvert largement pour construire un index général, généralement avec l'encouragement des propriétaires de sites. Scraper les pages de résultats de Google signifie collecter des données depuis la SERP elle-même, ce que les conditions de Google restreignent généralement et contre quoi ses systèmes anti-bot se défendent activement. La mécanique de récupération et d'analyse est similaire, mais la cible, la permission et les règles diffèrent.
Crawlez n'importe quel site à grande échelle, sans combattre l'infrastructure.
Crawlbase gère les proxies, les empreintes et les CAPTCHA afin que votre équipe livre des pipelines de données au lieu de maintenir la plomberie de crawl. 1 000 requêtes gratuites, sans carte requise.