Amazon est un choix populaire pour les produits dans le monde entier. Des études montrent que les clients passent beaucoup de temps à lire les avis sur leurs achats antérieurs avant de prendre une décision d'achat. En tant que chefs d'entreprise et professionnels techniques, Amazon offre une mine de données d'avis, qu'il est évidemment difficile d'extraire sans les outils appropriés.
Vous pouvez essayer notre Grattoir pour avis AmazonCet outil fournit tout ce dont vous avez besoin pour récupérer les avis Amazon.
Table des matières
I. Pourquoi supprimer les avis sur les produits Amazon
II. Comment éviter d'être bloqué lors de la récupération d'avis Amazon
III. Comprendre le code HTML de la page d'évaluation des produits Amazon
IV. Comment récupérer les avis d'Amazon
- Étape 1. Préparation de votre espace de travail : conditions préalables et configuration de l'environnement
- Étape 2. Récupérer les avis sur les produits Amazon
- Étape 3. Récupération de tous les avis à l'aide de la pagination
- Étape 4. Stockage des données
V. Questions fréquemment posées
I. Pourquoi supprimer les avis sur les produits Amazon

Dans le domaine du commerce électronique, les avis sur les produits servent de carte aux trésors, vous guidant à travers le paysage complexe des préférences et des opinions des clients. Extraire ces avis revient à ouvrir une porte vers leurs pensées et leurs émotions non filtrées concernant les produits. Cependant, l'importance de ces avis va bien au-delà de simples informations ; ils sont indispensables pour mener des études de marché, favoriser les améliorations de produits et réaliser des analyses concurrentielles.
II. Comment éviter d'être bloqué lors de la récupération d'avis Amazon
Si la possibilité de récupérer les avis d'Amazon offre une mine de données précieuses, elle comporte également des défis. Le paysage numérique du commerce électronique est régi par ses propres règles, et Amazon, l'un des géants du secteur, ne fait pas exception. Récupérer ses pages est plus complexe qu'il n'y paraît.
Il est essentiel d'empêcher que votre outil de récupération d'avis Amazon ne rencontre des blocages lors de la récupération des avis sur les produits afin de maintenir la fiabilité et la continuité de votre processus de collecte de données. Voici quelques stratégies efficaces :
- En-têtes de l'agent utilisateur : Amazon peut détecter le scraping automatisé en vérifiant l'en-tête User-Agent dans les requêtes HTTP. Pour éviter la détection, utilisez un outil d'exploration Web ou une bibliothèque qui vous permet de définir des en-têtes d'agent utilisateur pour imiter un navigateur Web. Cela permet à vos demandes d'apparaître plus comme celles d'un utilisateur classique.
- Limitation du taux de demande : Implémentez un délai entre vos demandes de scraping. Le fait de submerger les serveurs d'Amazon avec des demandes rapides et fréquentes peut déclencher leurs mécanismes de sécurité. En ajoutant des délais, vous simulez un modèle de navigation plus humain, réduisant ainsi le risque de détection.
- Rotation IP et serveurs proxy : Rotation des adresses IP Ou en utilisant services de serveur proxy peut aider à empêcher le blocage basé sur l'IP. Lors du scraping à grande échelle, il est conseillé d'utiliser un pool d'adresses IP ou de proxys rotatifs. De cette façon, Amazon n'identifiera pas un modèle cohérent à partir d'une seule adresse IP, ce qui rend plus difficile le blocage de votre accès.
- Respectez le fichier robots.txt : Respectez toujours les règles définies dans le fichier « robots.txt » d'Amazon. Ce fichier spécifie les parties du site Web qui peuvent et ne peuvent pas être extraites. L'extraction de zones non autorisées peut entraîner le blocage de votre outil d'extraction. Il est donc important de consulter et de respecter ces règles.
- Suivi et adaptation : Amazon met régulièrement à jour la structure de son site Web et ses mesures de sécurité. Pour garder une longueur d'avance, surveillez les changements structurels sur le site Web d'Amazon et adaptez votre scraper en conséquence. Les bibliothèques de scraping Web comme BeautifulSoup et Scrapy peuvent vous aider à ajuster votre scraper lorsque la structure HTML évolue.
Il est important de noter que même si ces stratégies peuvent aider à empêcher le blocage de votre grattoir, elles peuvent nécessiter beaucoup d'efforts et d'expertise pour être mises en œuvre efficacement.
Crawlbase est le meilleur outil de récupération d'avis Amazon
Gérer tous ces aspects de grattage web peut être une tâche difficile et chronophage. C'est là que Crawlbase Crawling API brille. Crawlbase est conçu pour gérer les complexités du scraping Web, y compris la définition des en-têtes d'agent utilisateur, la gestion des taux de requête, la rotation des adresses IP, le respect des règles robots.txt et la surveillance des modifications du site Web, ce qui en fait l'outil idéal pour récupérer les avis Amazon.

En utilisant le Crawlbase API, vous pouvez vous concentrer sur l'extraction de données précieuses à partir des avis Amazon sans craindre d'être bloqué, car Crawlbase prend en charge ces défis pour vous. Cela permet à Amazon de se débrouiller avec Crawlbase un excellent choix pour votre projet, garantissant une extraction de données fluide et fiable.
III. Comprendre le code HTML de la page d'évaluation des produits Amazon

Avant de nous lancer dans l'écriture du code de notre outil de récupération d'avis Amazon, il est essentiel de comprendre la structure des pages d'évaluation des produits d'Amazon en HTML. Cette compréhension est la base d'une opération de récupération réussie, car elle vous permet de localiser et d'extraire précisément les données dont vous avez besoin.
Les pages d'évaluation des produits d'Amazon sont structurées avec divers éléments HTML, chacun contenant des informations précieuses. Voici les éléments clés à connaître :
- Examen des conteneurs
- Informations sur l'examinateur
- Notes et étoiles
- Avis
- Pagination
Au fur et à mesure que nous progressons dans la création d’un outil de récupération d’avis sur les produits Amazon, gardez ces éléments à l’esprit. Ils constituent les éléments de base de notre stratégie de récupération.
IV. Comment récupérer les avis d'Amazon
Étape 1. Préparation de votre espace de travail : conditions préalables et configuration de l'environnement
Passons maintenant aux choses sérieuses et assurons-nous que votre espace de travail est prêt pour la création d'un outil de récupération d'avis Amazon. Avant de passer au codage, voici une liste de contrôle pour vous assurer que vous disposez de tout ce dont vous avez besoin :
Node.js installé
Assurez-vous que Node.js est installé sur votre ordinateur. Si vous ne l'avez pas encore, vous pouvez le télécharger à partir de leur Site officiel de Node.jsNode.js sert d'environnement d'exécution qui nous permet d'exécuter du code JavaScript sur votre machine.
Crawlbase Jeton JavaScript de l'API
Pour se connecter avec le Crawlbase Pour accéder à l'API, vous aurez besoin d'un jeton d'API. Vous pouvez l'obtenir en s'inscrire sur Crawlbase. Une fois que vous avez un compte, accédez au tableau de bord du compte et enregistrez votre jeton JavaScript. Considérez ce jeton comme votre clé d'accès au trésor de données Web.
Connaissances de base de JavaScript et npm
Une certaine familiarité avec JavaScript et npm (Node Package Manager) sera extrêmement bénéfique à mesure que nous avancerons. Si vous débutez avec JavaScript, ne vous inquiétez pas ; nous vous fournirons des conseils détaillés tout au long du code, étape par étape. Npm nous aidera à gérer les packages et les dépendances tout au long du projet.
En vous assurant de disposer de ces éléments, vous vous préparez à une expérience fluide et réussie pour apprendre à récupérer les avis Amazon.
Configuration de l'environnement
Maintenant que nous sommes prêts à démarrer notre projet de scraping d'avis de produits Amazon, commençons par préparer notre environnement de codage. Cette étape est essentielle car elle constitue la base du travail à venir.
Ouvrez votre interface de ligne de commande, qui peut être l'invite de commande (Windows), le terminal (macOS et Linux) ou une application de terminal similaire et accédez au répertoire dans lequel vous souhaitez créer votre projet.
Une fois que vous êtes dans le répertoire de votre projet dans le terminal, il est temps de créer votre fichier de code. Exécutez la commande suivante :
1 | -nous index.js et npm init -y |
Ensuite, nous utiliserons le Crawlbase Bibliothèque de nœuds pour une intégration plus facile. Installez la bibliothèque en exécutant la ligne ci-dessous :
1 | npm installer crawlbase |
Cette commande utilise npm (Node Package Manager) pour récupérer et installer le Crawlbase bibliothèque, que nous utiliserons pour interagir avec le Crawlbase API. La bibliothèque fournit des fonctions pratiques pour votre code JavaScript afin de simplifier le scraping Web.
Si vous êtes tous prêts, passons à l’étape suivante : écrire le code pour extraire les avis sur les produits Amazon.
Étape 2. Récupérer les avis sur les produits Amazon
Dans cette section, nous sommes prêts à plonger dans le code qui récupère les avis sur les produits Amazon à l'aide de Crawlbase's Crawling APIVoici le code suivi de son explication :
1 | const { API d'exploration } = exigent('base d'exploration'), |
Ce code établit les bases pour récupérer les avis Amazon à l'aide du Crawlbase bibliothèque et API. Elle simplifie le processus de scraping en exploitant CrawlbaseLe scraper pré-construit de pour les avis sur les produits Amazon, éliminant l'effort nécessaire pour créer un analyseur personnalisé.
Exécution de code
Maintenant, vous pouvez exécuter le code en utilisant le node commande suivie du nom du fichier JavaScript, qui est index.js dans ce cas. Tapez la commande suivante et appuyez sur Entrée :
1 | noeud index.js |
Le code enregistrera les données récupérées ou tout message d'erreur sur le terminal. Examinez attentivement la sortie pour vous assurer que le processus de récupération fonctionne comme prévu.
Étape 3 : Récupérer tous les avis à l'aide de la pagination
Utilisation de la pagination Amazon pour le scraping
Amazon, comme de nombreux autres sites Web, utilise un système de pagination pour organiser ses avis sur les produits. Cela signifie que si vous souhaitez extraire des avis Amazon sur plusieurs pages, vous devrez suivre une série de liens de page pour accéder aux données de chaque page d'avis et les récupérer.
Pour avoir une meilleure idée, vous pouvez observer les exemples d'URL ci-dessous pour voir comment Amazon gère la pagination :
Page d'évaluation principale :
https://www.amazon.com/Meta-Quest-Pro-Oculus/product-reviews/B09Z7KGTVW/?reviewerType=all_reviews
Deuxième page:
https://www.amazon.com/Meta-Quest-Pro-Oculus/product-reviews/B09Z7KGTVW/?reviewerType=all_reviews&pageNumber=2
Troisième page:
https://www.amazon.com/Meta-Quest-Pro-Oculus/product-reviews/B09Z7KGTVW/?reviewerType=all_reviews&pageNumber=3
Maintenant, examinons le code fourni et expliquons comment il réalise cette pagination :
1 | const { API d'exploration } = exigent('base d'exploration'), |
Ce code navigue efficacement dans les avis de produits Amazon paginés, en effectuant des appels récursifs pour récupérer et accumuler les données de chaque page jusqu'à ce qu'il atteigne la dernière page. C'est un moyen fiable de garantir que vous récupérez tous les avis disponibles pour le produit que vous avez choisi.
Voici l'exemple de réponse :

Étape 4. Stockage des données
Après avoir récupéré avec succès les avis sur les produits Amazon, l'étape cruciale suivante consiste à stocker ces précieuses données à des fins d'analyse, de référence future ou à toute autre fin que vous pourriez avoir en tête. Stocker des données est un élément essentiel du processus de scraping Web car il préserve les résultats de vos efforts pour une utilisation ultérieure.
Utilisation du module fs dans Node.js
Pour sauvegarder les avis supprimés, nous utiliserons le fs (système de fichiers) module dans Node.js. Le fs Le module est un module intégré qui nous permet d'interagir avec le système de fichiers de notre ordinateur. Grâce à lui, nous pouvons créer, lire, écrire et gérer des fichiers. Dans notre cas, nous l'utiliserons pour écrire les avis récupérés dans un fichier JSON.
Dans la section suivante, nous vous fournirons le code permettant d'enregistrer les avis récupérés dans un amazon_reviews.json fichier et expliquez son fonctionnement. Cette étape vous permettra de disposer d'un enregistrement structuré et accessible des avis que vous avez recueillis, vous permettant de prendre des décisions basées sur des données ou de mener des analyses plus approfondies si nécessaire.
1 | const { API d'exploration } = exigent('base d'exploration'), |
En résumé, ce code récupère les avis sur les produits Amazon, gère la pagination et enregistre les données collectées dans un fichier JSON pour une utilisation ultérieure. C'est un moyen efficace de conserver et d'analyser les informations récupérées.
Exécutez le code. Une fois l'exécution du code terminée, il affichera le nombre total d'avis récupérés. Vous pouvez ensuite consulter le fichier « amazon_reviews.json » dans le même répertoire pour accéder aux données récupérées.
Voici un exemple de réponse JSON :
1 | { |
Et voilà ! Vous avez exécuté avec succès le code permettant de récupérer les avis Amazon et de les enregistrer dans un fichier. Vous pouvez désormais utiliser ces données à des fins d'analyse ou à toute autre fin si nécessaire.
Réflexions finales
En explorant comment extraire les avis Amazon, nous avons découvert un outil précieux pour extraire des informations à partir des avis produits Amazon. Crawlbase Grâce à la bibliothèque et à JavaScript, nous avons appris à recueillir et analyser facilement les commentaires clients d'Amazon. Ces avis nous offrent un aperçu des tendances du marché, des axes d'amélioration des produits et des perspectives concurrentielles. En comprenant comment extraire les avis Amazon, nous avons également mis en place notre environnement de développement, intégré Crawlbaseet développé un code permettant de naviguer efficacement sur les pages d'avis d'Amazon, nous permettant ainsi d'économiser du temps, des efforts et de l'argent. Le stockage systématique de ces données nous garantit un enregistrement fiable pour nos futures prises de décision.
En conclusion, nous vous encourageons à explorer le scraping Web pour prendre des décisions basées sur les données. Que vous soyez dans le monde des affaires, de la recherche ou simplement curieux, le scraping Web peut fournir des informations précieuses. N'oubliez jamais de récupérer les avis Amazon de manière responsable, en respectant les conditions d'utilisation des sites Web, et vous débloquerez un monde de possibilités basées sur les données. Profitez du potentiel du scraping Web et laissez les données vous guider !
Questions fréquemment posées
Est-il possible de récupérer les avis d'Amazon ?
Le scraping d'avis sur Amazon est une zone grise sur le plan juridique. Bien que le scraping de données accessibles au public sur un site Web soit généralement considéré comme légal, il existe des réserves importantes. Les conditions de service d'Amazon interdisent explicitement le scraping Web. Pour rester dans les limites légales, il est essentiel de consulter et de respecter les politiques d'Amazon. De plus, évitez le scraping excessif qui pourrait perturber les services d'Amazon ou violer les lois applicables concernant confidentialité des données.
Amazon utilise également des défis CAPTCHA pour vérifier que l'utilisateur accédant au site Web est un humain. Ces défis sont conçus pour empêcher les robots automatisés et les scrapers Web de submerger le site. Si vous rencontrez des défis CAPTCHA lors de votre accès à Amazon, cela fait partie de leurs mesures de sécurité pour garantir une expérience d'achat en ligne équitable et sécurisée.
Quel est l'avantage d'utiliser Crawlbase par rapport aux autres méthodes de grattage ?
Crawlbase Crawling API est un outil spécialisé conçu pour le scraping Web, ce qui le rend plus fiable et efficace pour récupérer les avis Amazon. Il gère de nombreux défis associés au scraping Web, tels que la gestion des CAPTCHA, Rotation IPet la gestion des sessions. De plus, il offre un support dédié et vous permet de collecter des avis Amazon à grande échelle tout en minimisant le risque de blocage. D'autres méthodes sont possibles, Crawlbase peut économiser du temps, des efforts et des ressources.
Quelle est la meilleure façon d’extraire des données sur les produits d’Amazon ?
La meilleure façon d'extraire des données des pages de produits Amazon est d'utiliser CrawlbaseC'est comme avoir un assistant intelligent qui vous aide à obtenir rapidement et avec précision les informations dont vous avez besoin sur le site Web d'Amazon. Crawlbase simplifie le scraping web, vous évitant ainsi de passer beaucoup de temps et d'énergie à le faire manuellement. C'est un excellent moyen de récupérer facilement les avis Amazon ou d'obtenir les données souhaitées sans difficulté.
Puis-je récupérer les avis Amazon pour n'importe quelle catégorie de produits ?
Oui, vous pouvez extraire les avis Amazon pour la plupart des catégories de produits. Cependant, la présentation d'Amazon peut varier légèrement selon les catégories. Votre outil doit être adaptable à différentes pages de produits en reconnaissant et en gérant les éléments spécifiques à chaque catégorie.









