Bienvenue dans Amazon Buy Box Data Scraping, votre passerelle vers une surveillance et une extraction de données efficaces de la Buy Box Amazon ! Si vous avez déjà fait des achats sur Amazon, vous avez probablement rencontré la Buy Box sans le savoir. Cette section importante sur une page produit comporte le bouton « Ajouter au panier » ou « Acheter maintenant » et est cruciale pour les acheteurs et les vendeurs. Cliquer sur ce bouton signifie acheter auprès du vendeur dans la Buy Box.

Boîte d'achat Amazon

Vous vous demandez peut-être : « Pourquoi ce bouton est-il si important ? » Eh bien, la Buy Box est bien plus qu'un simple bouton. Amazon utilise un algorithme complexe pour déterminer quel vendeur obtient cet emplacement privilégié. Cet algorithme évalue plusieurs facteurs, notamment le prix, les options d'expédition, les performances du vendeur, etc.

Coffret d'achat d'articles similaires sur Amazon

Lorsqu'un acheteur clique sur un produit qui l'intéresse, il navigue au-delà du choix de la Buy Box et se retrouve à défiler beaucoup plus loin vers la section « Comparer avec des articles similaires » ou « Autres vendeurs sur Amazon ». Cela renforce encore l'attrait de la Buy Box. Le vendeur qui remporte la Buy Box bénéficie de la part du lion des ventes de ce produit. Des études ont montré que la Buy Box reçoit environ 90 % de toutes les ventes sur AmazonC'est une part importante du gâteau.

Pour ceux qui connaissent Amazon, vous vous souvenez peut-être de l’existence d’un utilitaire appelé « Featured Merchant ». En 2018, Amazon avait modernisé le statut de Featured Merchant dans la Buy Box. Avance rapide jusqu’en 2023, et Amazon désigne désormais officiellement la Buy Box comme un «Offre en vedette. »

En tant que vendeur Amazon, votre rêve est probablement de voir vos produits figurer dans cette Buy Box tant convoitée. Évidemment, car c'est un moyen direct pour les acheteurs d'ajouter le produit suggéré au panier. Vous devez avoir des prix avantageux, les meilleures critiques et les meilleures performances du vendeur pour figurer sur cette liste. Par conséquent, il est essentiel pour les vendeurs non seulement de surveiller la Buy Box, mais également de suivre les facteurs qui influencent qui la remporte. Avec des millions de produits répertoriés sur Amazon, la concurrence est féroce. Par conséquent, figurer sur la Buy Box peut faire une énorme différence dans vos ventes.

Pour accéder à la Buy Box, vous avez besoin d'informations et de stratégies. Faites défiler la page vers le bas pour découvrir comment suivre le prix de la Buy Box et d'autres éléments de données grâce au scraping de données.

Table des matières

  1. Pourquoi chaque vendeur Amazon a-t-il besoin d'une place sur Buy Box ?
  • La nécessité du scraping de données
  1. Défis et solutions dans le suivi des Buy Box
  • Mesures anti-grattage
  • Gestion des interdictions IP et des captchas
  1. Configuration de votre environnement de développement
  • Installer Python
  • Installation des bibliothèques requises
  • Choisir le bon IDE de développement
  1. Accéder aux pages produits d'Amazon
  • Crawlbase Bibliothèque Python
  • Obtenir le bon Crawlbase Token
  • Effectuer des requêtes HTTP vers Amazon
  • Gestion du contenu dynamique
  1. Extraction des données de la Buy Box
  • Inspection du code HTML pour obtenir des sélecteurs CSS
  • Structurer votre scraper de données
  • Stockage des données récupérées dans un fichier CSV
  1. Mot de la fin
  2. Foire aux questions (FAQ)

Pourquoi chaque vendeur Amazon a-t-il besoin d'une place sur Buy Box ?

Maintenant que nous avons établi l'importance de la Buy Box, examinons pourquoi elle est si importante pour les vendeurs. Que vous soyez propriétaire d'une petite entreprise ou d'une grande entreprise, sécuriser la Buy Box est l'objectif ultime lorsque vous vendez sur Amazon.

Pourquoi la Buy Box d'Amazon est importante
  1. Visibilité:Les produits présentés dans la Buy Box bénéficient d'une visibilité maximale. Ils apparaissent en haut de la liste des produits, ce qui en fait le premier choix des clients. Cet emplacement privilégié augmente la probabilité que votre produit soit vu et vendu.
  2. Augmentation des ventes:Gagner la Buy Box se traduit par une augmentation significative des ventes. Comme mentionné précédemment, la plupart des acheteurs Amazon cliquent sur « Ajouter au panier » sur le produit dans la Buy Box sans comparer plusieurs options. Cela conduit à davantage de conversions et de revenus pour les vendeurs.
  3. La confiance du client:L'algorithme d'Amazon sélectionne les produits pour la Buy Box en fonction du prix, des performances du vendeur et de la satisfaction du client. Cela signifie que les produits de la Buy Box sont perçus comme fiables et dignes de confiance. Les vendeurs qui remportent régulièrement la Buy Box ont tendance à gagner la confiance des clients.
  4. Avantage concurrentiel:La Buy Box offre aux vendeurs un avantage considérable sur le marché extrêmement concurrentiel d'Amazon. Elle est particulièrement avantageuse pour les vendeurs qui lancent de nouveaux produits ou qui ciblent des niches spécifiques.

La nécessité du scraping de données

Pourquoi les vendeurs doivent-ils considérer le scraping de données comme un outil essentiel pour la surveillance de la Buy Box ? La réponse réside dans la nature dynamique du paysage du commerce électronique et dans les algorithmes en constante évolution qui déterminent le gagnant de la Buy Box. Explorons la nécessité du scraping de données dans ce contexte.

Besoin de scraping de données de Buy Box
  • Surveillance en temps réel:La Buy Box est en constante évolution. Les algorithmes d'Amazon décident en temps réel qui l'obtient en fonction de nombreux facteurs. Les vendeurs doivent constamment surveiller qui se trouve dans la Buy Box et pourquoi pour rester compétitifs. Sans le scraping de données, ce serait un travail difficile et chronophage. Le scraping de données facilite la tâche en fournissant des mises à jour en temps réel.
  • Prix ​​du produit:Le prix est l'un des principaux facteurs d'Amazon pour l'allocation de la Buy Box, les vendeurs doivent donc connaître les données de prix de produits similaires pour comparer et ajuster leurs prix en conséquence. grattage web, les vendeurs peuvent suivre automatiquement les changements de prix sur leurs propres produits et sur les listes de leurs concurrents.
  • Analyse de la concurrence:Les vendeurs peuvent collecter des données complètes sur leurs concurrents, notamment leurs listes de produits, leurs tarifs et leurs indicateurs de performance. Ces informations sont utiles pour adapter les stratégies afin de surpasser les concurrents et de sécuriser la Buy Box.
  • Adaptation et optimisation de la stratégie:Le jeu de la Buy Box n'est pas universel. Ce qui fonctionne pour un produit peut ne pas fonctionner pour un autre. Pour réussir, les vendeurs doivent être capables d'adapter et d'optimiser leurs stratégies. Le scraping de données fournit aux vendeurs les informations dont ils ont besoin pour prendre des décisions éclairées. Il fournit la base de données permettant d'évaluer l'efficacité de différentes tactiques, qu'il s'agisse d'ajustements de prix, de regroupement de produits ou d'amélioration des indicateurs de performance des vendeurs.
  • Efficacité et évolutivité:Le vaste marché d'Amazon compte d'innombrables listes de produits, vendeurs et catégories. Outils d'exploration de données permettent de surveiller efficacement de nombreux produits et vendeurs simultanément. Cette évolutivité est essentielle pour les vendeurs qui cherchent à étendre leur présence sur Amazon et à être compétitifs dans plusieurs catégories de produits.

En bref, le scraping Web permet aux vendeurs Amazon de collecter des informations en temps réel sur les prix des produits, les performances des concurrents et d’autres variables qui affectent leur éligibilité à la Buy Box.

Défis et solutions dans le suivi des Buy Box

Lorsque vous récupérez des données à partir de sites Web, en particulier de sites de commerce électronique comme Amazon, vous rencontrerez une série de défis. Amazon a mis en place des mesures anti-scraping strictes pour protéger ses données. De plus, vous pourriez rencontrer des problèmes tels que des interdictions d'IP et des captchas. Cependant, ces défis peuvent être surmontés efficacement avec les bons outils et stratégies. L'un de ces outils qui s'avère inestimable dans ce contexte est le Crawlbase Crawling API, une solution puissante pour le web scraping.

Mesures anti-grattage

Comme de nombreuses autres plateformes en ligne, Amazon utilise diverses mesures anti-scraping pour empêcher la collecte automatisée de données. Il est essentiel de comprendre le fonctionnement de ces mesures pour réussir à naviguer dans le paysage du scraping Web. Voici quelques mesures anti-scraping courantes employées par Amazon :

  1. CAPTCHAVous avez probablement déjà rencontré ces énigmes en naviguant sur le web. Les CAPTCHA sont conçus pour vérifier si l'utilisateur est un humain ou un robot. Ils se présentent sous diverses formes, comme des défis de reconnaissance d'images, du texte déformé ou la sélection d'objets spécifiques dans les images. Les scrapers automatisés ont du mal à contourner les CAPTCHA, car ils nécessitent une reconnaissance visuelle et une interaction de type humain.
  2. Limitation du débit:Amazon peut limiter le nombre de requêtes qu'une seule adresse IP peut effectuer dans un laps de temps spécifique. Les requêtes excessives et rapides déclenchent des mécanismes de limitation du débit, ralentissant ou bloquant complètement l'accès au site.
  3. Blocage d'IP:Amazon peut bloquer temporairement ou définitivement l'accès au site Web à partir d'adresses IP présentant un comportement de scraping. Si votre adresse IP est bloquée, vous pourrez accéder au site une fois le blocage levé.

Gestion des interdictions IP et des captchas

Les interdictions d'adresse IP et les captchas sont des obstacles courants auxquels sont confrontés les scrapers Web. Amazon, comme de nombreux autres sites Web, peut bloquer temporairement ou définitivement votre adresse IP s'il détecte des activités de scraping. De plus, des captchas peuvent être déployés pour différencier le comportement humain de celui des robots. Les captchas sont conçus pour vérifier l'identité de l'utilisateur et peuvent souvent être assez difficiles à contourner.

Dans ces scénarios, le Crawlbase Crawling API s'avère être un allié fiable. Cette API utilise rotation des adresses IP pour contourner les interdictions IP. Il vous permet de faire des demandes à partir d'un pool de procurations résidentielles tournantes, empêchant ainsi que vos activités de scraping soient facilement identifiées et bloquées. De plus, Crawlbase L'API gère efficacement les captchas, vous permettant d'automatiser leur résolution, de gagner un temps précieux et de garantir un scraping ininterrompu. Cette API offre des solutions performantes à deux des défis les plus importants du scraping web, ce qui en fait un outil essentiel. extraire les données produit d'Amazon.

Configuration de votre environnement de développement

Cette section explorera les conditions préalables à un scraping de données réussi, notamment la configuration de votre environnement de développement et la sélection du bon IDE de développement.

Installer Python

Python est le principal langage de programmation que nous utiliserons pour le scraping Web. Si Python n'est pas déjà installé sur votre système, suivez ces étapes :

  1. Télécharger Python: Visitez le site Web officiel de Python à l'adresse python.org et téléchargez la dernière version de Python. Choisissez le programme d'installation approprié à votre système d'exploitation (Windows, macOS ou Linux).

  2. en un clic: Exécutez le programme d'installation téléchargé et suivez les instructions d'installation. Cochez l'option qui ajoute Python au PATH de votre système pendant l'installation. Cette étape est cruciale pour exécuter Python à partir de la ligne de commande.

  3. Vérifier l'installation:Ouvrez une invite de commande ou un terminal et entrez la commande suivante pour vérifier si Python est correctement installé :

1
python --version

Vous devriez voir la version Python installée affichée.

Installation des bibliothèques requises

Python propose un riche écosystème de bibliothèques qui simplifient le scraping Web. Pour ce projet, vous aurez besoin de crawlbase bibliothèque permettant de réaliser des requêtes Web avec le Crawlbase API et le Beautiful Soup Bibliothèque pour l'analyse de contenu HTML. Pour installer ces bibliothèques, utilisez les commandes suivantes :

  1. Crawlbase: Les crawlbase La bibliothèque est un wrapper Python pour le Crawlbase API, qui nous permettra de réaliser des requêtes Web de manière efficace.
1
pip installe crawlbase
  1. Belle soupe: Beautiful Soup est une bibliothèque permettant d'analyser des documents HTML et XML. Elle est particulièrement utile pour extraire des données de pages Web.
1
pip installer beautifulsoup4
  1. Pandas:Pandas est une puissante bibliothèque de manipulation de données qui vous aidera à organiser et à analyser efficacement les données extraites.
1
pip installer des pandas

Avec ces bibliothèques installées, vous disposerez des outils dont vous avez besoin pour récupérer des pages Web à l'aide de Crawlbase API et analyser leur contenu pendant le processus de scraping.

Choisir le bon IDE de développement

Un environnement de développement intégré (IDE) fournit un environnement de codage avec des fonctionnalités telles que la mise en surbrillance du code, la saisie semi-automatique et les outils de débogage. Bien que vous puissiez écrire du code Python dans un simple éditeur de texte, un IDE peut améliorer considérablement votre expérience de développement.

Voici quelques IDE Python populaires à prendre en compte :

  1. PyCharm:PyCharm est un IDE robuste avec une édition communautaire gratuite. Il offre des fonctionnalités telles que l'analyse de code, un débogueur visuel et la prise en charge du développement Web.

  2. Code Visual Studio (code VS): VS Code est un éditeur de code gratuit et open source développé par Microsoft. Sa vaste bibliothèque d'extensions le rend polyvalent pour diverses tâches de programmation, notamment le scraping Web.

  3. Jupyter Notebook:Jupyter Notebook est excellent pour le codage interactif et l'exploration de données. Il est couramment utilisé dans les projets de science des données.

  4. Spyder:Spyder est un IDE conçu pour les tâches scientifiques et liées aux données. Il fournit des fonctionnalités telles qu'un explorateur de variables et une console interactive.

Choisissez l'IDE qui correspond le mieux à vos préférences et à votre flux de travail. Une fois Python installé, les bibliothèques requises configurées et l'IDE que vous avez choisi prêt, vous êtes prêt à extraire les données Buy Box des pages de produits Amazon.

Accéder aux pages produits d'Amazon

Maintenant que votre environnement de développement est configuré, il est temps d'aborder les aspects techniques de l'accès Pages produits d'Amazon pour le scraping de données Buy Box. Dans cette section, nous aborderons l'utilisation de Crawlbase Bibliothèque Python, création Requêtes HTTP vers Amazon et gestion du contenu dynamique.

Crawlbase Bibliothèque Python

Crawlbase Librairie Python est un wrapper léger et sans dépendance pour Crawlbase API, simplifiant les subtilités du web scraping. Cet outil polyvalent simplifie des tâches comme l'envoi de requêtes HTTP aux sites web, en gérant efficacement Rotation IP, et manœuvrer avec grâce à travers les obstacles du Web, y compris les CAPTCHA. Pour vous lancer dans votre aventure de scraping Web avec cette bibliothèque, vous pouvez suivre ces étapes en toute transparence :

  1. Importer: Pour manier le redoutable Crawling API du Crawlbase Pour accéder à la bibliothèque, vous devez commencer par importer l'indispensable classe CrawlingAPI. Cette étape fondamentale ouvre la voie à l'accès à une gamme de Crawlbase API. Voici un aperçu de la manière d'importer ces API :
1
à partir de base d'exploration importer API d'exploration
  1. Initialisation : Avec votre Crawlbase Une fois le jeton API en main, l'étape cruciale suivante consiste à initialiser la classe CrawlingAPI. Ce moment crucial connecte votre code aux vastes capacités de Crawlbase:
1
api = API d'exploration({ 'jeton': 'VOTRE_JETON_CRAWLBASE' })
  1. Envoi d'une demande:Une fois que votre classe CrawlingAPI est prête avec votre Crawlbase Avec un jeton API, vous êtes prêt à envoyer des requêtes aux sites web ciblés. Voici un exemple pratique de création d'une requête GET adaptée à l'extraction des fiches iPhone depuis la page de recherche de Walmart :
1
2
3
réponse = api.get("https://www.facebook.com/britneyspears")
if réponse['code_d'état']== 200:
    impression(réponse['corps'])

Avec la collection Crawlbase Avec la bibliothèque Python comme fidèle compagnon, vous pouvez vous lancer en toute confiance dans votre exploration web. Pour approfondir ses fonctionnalités, consultez la section « Détails ». ici.

Obtenir le bon Crawlbase Token

Nous devons obtenir un jeton API avant de pouvoir libérer la puissance du Crawlbase Crawling API. Crawlbase Nous proposons deux types de jetons : le jeton normal (TCP) pour les sites web statiques et le jeton JavaScript (JS) pour les sites web dynamiques ou utilisant JavaScript. Amazon s'appuyant fortement sur JavaScript pour le chargement dynamique de contenu, nous opterons pour le jeton JavaScript. Pour un démarrage en douceur, Crawlbase offre généreusement une allocation initiale de 1,000 XNUMX demandes gratuites pour le Crawling API.

1
2
3
4
à partir de base d'exploration importer API d'exploration

# Initialiser le Crawling API avec la Crawlbase Jeton JavaScript
api = API d'exploration({ 'jeton': 'VOUS_CRAWLBASE_JS_TOKEN' })

Vous pouvez obtenir votre Crawlbase jeton ici après avoir créé un compte dessus.

Effectuer des requêtes HTTP vers Amazon

Armés de notre jeton JavaScript, nous sommes tous prêts à configurer le Crawlbase Crawling API. Mais avant de continuer, examinons la structure de la réponse de sortie. La réponse que vous recevez peut se présenter sous deux formats : HTML ou JSON. Le choix par défaut pour le Crawling API est au format HTML.

Réponse HTML :

1
2
3
4
5
6
7
En-têtes:
  url: "L'URL qui a été explorée"
  statut_original: 200
  pc_status: 200

Les chuchotements :
  Le HTML de la page

Nous pouvons en savoir plus sur Crawling API à un besoin identifié ici. Pour l'exemple, nous utiliserons l'option par défaut. Nous utiliserons l'objet API initialisé pour effectuer des requêtes. Spécifiez l'URL que vous souhaitez récupérer à l'aide de l' api.get(url, options={}) la fonction.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
à partir de base d'exploration importer API d'exploration

# Initialiser le Crawling API avec la Crawlbase jeton
api = API d'exploration({ 'jeton': 'VOUS_CRAWLBASE_JS_TOKEN' })

# URL de la page de recherche Amazon que vous souhaitez récupérer
URL_du_produit_Amazon = "https://www.amazon.com/Motorola-Stylus-Battery-Unlocked-Emerald/dp/B0BFYRV4CD"

# Faire une demande pour extraire la page de recherche Amazon
réponse = api.get(amazon_product_url)

# Vérifiez si la demande a réussi
if réponse['code_d'état']== 200:
    # Contenu HTML extrait après décodage des données d'octets
    # latin1 gérera également les caractères chinois
    html_content = réponse['corps'].décoder('latin1')

    # Enregistrer le contenu HTML dans un fichier
    avec ouvert('sortie.html', 'w', encodage=« utf-8 ») as fichier:
      fichier.write(contenu_html)
d'autre:
    impression(« Échec de la récupération de la page. Code d'état : », réponse['code_d'état'])

Dans l'extrait de code fourni, nous protégeons le contenu HTML acquis en le stockant dans un fichier HTML. Cette action est cruciale pour confirmer l'acquisition réussie des données HTML ciblées. Nous pouvons ensuite examiner le fichier pour inspecter le contenu spécifique du code HTML exploré.

output.html Exposition :

sortie.html Aperçu

Comme vous pouvez le voir ci-dessus, aucune information utile n'est présente dans le code HTML analysé. Cela est dû au fait qu'Amazon charge son contenu important de manière dynamique à l'aide de JavaScript et d'Ajax.

Gestion du contenu dynamique

Les pages produits d'Amazon présentent souvent du contenu dynamique chargé via des appels JavaScript et Ajax. Ce dynamisme peut poser problème lors de l'extraction de données. Cependant, avec Crawlbase Crawling API, ces défis peuvent être gérés efficacement.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
à partir de base d'exploration importer API d'exploration

# Initialiser le Crawling API avec la Crawlbase jeton
api = API d'exploration({ 'jeton': 'VOUS_CRAWLBASE_JS_TOKEN' })

# URL de la page de recherche Amazon que vous souhaitez récupérer
URL_du_produit_Amazon = "https://www.amazon.com/Motorola-Stylus-Battery-Unlocked-Emerald/dp/B0BFYRV4CD"

# options pour Crawling API
choix = {
 'page_wait': 2000,
 'ajax_wait': 'vrai'
}

# Faire une demande pour extraire la page de recherche Amazon avec des options
réponse = api.get(amazon_product_url, options)

# Vérifiez si la demande a réussi
if réponse['code_d'état']== 200:
    # Contenu HTML extrait après décodage des données d'octets
    html_content = réponse['corps'].décoder('latin1')

    # Enregistrer le contenu HTML dans un fichier
    avec ouvert('sortie.html', 'w', encodage=« utf-8 ») as fichier:
      fichier.write(contenu_html)
d'autre:
    impression(« Échec de la récupération de la page. Code d'état : », réponse['code_d'état'])

Crawlbase Permet de définir des paramètres spécifiques garantissant la capture précise du contenu rendu dynamiquement. Deux paramètres clés sont à prendre en compte :

  • page_wait: Ce paramètre facultatif vous permet de spécifier la durée en millisecondes à attendre avant de capturer le code HTML résultant. Utilisez ce paramètre lorsqu'une page nécessite un temps de rendu supplémentaire ou lorsque les requêtes AJAX doivent être entièrement chargées avant la capture du code HTML.
  • ajax_wait: Un autre paramètre facultatif adapté au jeton JavaScript vous permet d'indiquer si le script doit attendre la fin des requêtes AJAX avant de recevoir la réponse HTML. Cela est très utile lorsque le contenu repose sur l'exécution de requêtes AJAX.

En exploitant ces paramètres, vous pouvez naviguer et extraire efficacement des données des pages produits d'Amazon, même lorsque vous êtes confronté à du contenu dynamique.

output.html Exposition :

sortie.html Aperçu

Avec la connaissance de Crawlbase et comment envoyer des requêtes HTTP à Amazon, vous êtes maintenant prêt à créer votre outil de suivi des Buy Box. Dans la section suivante, nous explorerons les subtilités de l'extraction des données Buy Box et des informations nécessaires.

Extraction des données de la Buy Box

L'extraction de données de la Buy Box sur les pages de produits d'Amazon est une étape essentielle pour surveiller et suivre cette position convoitée. Cependant, pour le faire efficacement, vous devez comprendre la structure des pages Web d'Amazon et savoir quelles données spécifiques de la Buy Box sont cruciales pour vos besoins de suivi.

Inspection du code HTML pour obtenir des sélecteurs CSS

Pour extraire des données de la Buy Box, vous devez d'abord identifier les éléments HTML qui contiennent les informations qui vous intéressent. Ce processus consiste à inspecter la structure HTML des pages de produits d'Amazon pour localiser les sélecteurs CSS correspondant aux données que vous souhaitez extraire.

Alors, quelles données sont importantes dans la Buy Box ?

  1. Titre du produit:Le nom du produit présenté dans la Buy Box est essentiel pour suivre les évolutions des listings.
  2. Prix:Il est essentiel de surveiller le prix actuel du produit dans la Buy Box, car il fluctue souvent en raison de divers facteurs.
  3. Informations sur le vendeur:Les informations sur le vendeur, y compris son nom et le fait qu'il s'agisse d'Amazon ou d'un vendeur tiers, sont essentielles pour comprendre qui occupe actuellement la Buy Box.
  4. Disponibilité:Vérifier la disponibilité du produit aide les vendeurs à évaluer la concurrence pour la Buy Box.
  5. Bouton Ajouter au panier:Le suivi des modifications du bouton « Ajouter au panier » est essentiel, indiquant si les clients peuvent acheter le produit directement depuis la Buy Box.

Décrivons comment vous pouvez inspecter la structure HTML et dénicher des sélecteurs CSS pour ces informations :

Inspecter la page produit Amazon
  1. Ouvrir la page Web:Accédez au site Web d'Amazon et accédez à une page de produit qui suscite votre intérêt.
  2. Faites un clic droit et inspectez: Utilisez votre clic droit sur un élément que vous souhaitez extraire (par exemple, une Buy Box) et sélectionnez « Inspecter » ou « Inspecter l'élément » dans le menu contextuel. Cette incantation mystique fera apparaître les outils de développement du navigateur.
  3. Localiser la source HTML:Dans les limites des outils de développement, le code source HTML de la page Web dévoilera ses secrets. Passez votre curseur sur divers éléments du panneau HTML et voyez les parties correspondantes de la page Web s'illuminer comme par magie.
  4. Identifier les sélecteurs CSS:Pour libérer les données d'un élément particulier, faites un clic droit dessus dans les outils de développement et choisissez avec élégance « Copier » > « Copier le sélecteur ». Cette manœuvre élégante transportera le sélecteur CSS de cet élément dans votre presse-papiers, prêt à être utilisé dans vos incantations de scraping Web.

Une fois que vous disposez de ces sélecteurs, vous pouvez procéder à la structuration de votre scraper de données pour extraire efficacement les informations requises.

Structurer votre scraper de données

Maintenant que nous avons réussi à acquérir le contenu HTML de la page produit dynamique d'Amazon et que nous savons comment obtenir le sélecteur CSS, il est temps d'extraire les précieuses données pour Amazon Buy Box à partir du contenu récupéré. Dans cette section destinée aux développeurs, nous allons créer un script Python qui capture habilement les données produit de la page de résultats de recherche de Walmart.

Ce script résume l’essence du scraping Web : effectuer des requêtes HTTP, analyser le contenu HTML et extraire les informations critiques que nous recherchons.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
à partir de base d'exploration importer API d'exploration
à partir de bs4 importer BeautifulSoup
importer json

def initialiser_crawlbase_api(jeton):
    retourner API d'exploration ({'jeton': jeton})

def scrape_amazon_produit_html(contenu_html):
    soupe = BeautifulSoup(contenu_html, 'html.parser')
    info_produit = {}

    def obtenir_texte_ou_par_défaut(sélecteur, par défaut="Pas trouvé"):
        élément = soup.select_one(sélecteur)
        retourner élément.texte.strip() if un élément d'autre défaut

    def est_élément_présent(sélecteur):
        élément = soup.select_one(sélecteur)
        retourner "Présent" if un élément d'autre "Absent"

    info_produit[« Bouton Acheter maintenant »] = est_élément_présent('span#submit\\.acheter-maintenant')
    info_produit[« Bouton Ajouter au panier »] = est_élément_présent('span#submit\\.ajouter-au-panier')
    info_produit['Disponibilité'] = obtenir_texte_ou_défaut(« #durée de disponibilité »)
    info_produit[« Titre du produit »] = obtenir_texte_ou_défaut('#titreduproduit')
    info_produit['Prix'] = obtenir_texte_ou_défaut('.a-prix .a-hors-champ')
    info_produit[« Nom de l'expéditeur »] = obtenir_texte_ou_défaut('#fulfillerInfoFeature_feature_div span.offer-display-feature-text-message')
    info_produit[« Nom du vendeur »] = obtenir_texte_ou_défaut('#merchantInfoFeature_feature_div span.offer-display-feature-text-message')

    retourner info_produit

def scrape_amazon_product_info(API, URL):
    choix = {
        'page_wait': 2000,
        'ajax_wait': 'vrai'
    }
    réponse = api.get(url, options)

    if réponse['code_d'état']== 200:
        html_content = réponse['corps'].décoder('latin1')
        retourner scrape_amazon_produit_html(contenu_html)
    d'autre:
        impression(« Échec de la récupération de la page. Code d'état : », réponse['code_d'état'])
        retourner Aucun

def principal†
    api = initialize_crawlbase_api('VOUS_CRAWLBASE_JS_TOKEN')
    info_produit = scrape_amazon_info_produit(api, "https://www.amazon.com/Motorola-Stylus-Battery-Unlocked-Emerald/dp/B0BFYRV4CD")

    if info_produit:
        impression(json.dumps(informations_produit, indent=2))

if __nom__ == "__principale__":
    principale()

Ce script Python récupère les données des produits Amazon en utilisant le Crawlbase Crawling API et la bibliothèque BeautifulSoup. Elle commence par initialiser le Crawling API avec un jeton spécifique à l'utilisateur. La fonctionnalité principale est encapsulée dans le scrape_amazon_product_info Fonction qui extrait les données d'une URL de produit Amazon spécifiée. Cette fonction envoie une requête HTTP à l'URL donnée et vérifie si le code d'état de la réponse est 200, indiquant une requête réussie. En cas de succès, elle analyse le contenu HTML à l'aide de BeautifulSoup.

À l'intérieur de l' scrape_amazon_product_html Fonction, il utilise divers sélecteurs CSS pour extraire des informations spécifiques du code HTML, telles que la présence du bouton Acheter maintenant, la présence du bouton Ajouter au panier, la disponibilité du produit, le titre du produit, le prix, le nom de l'expéditeur et le nom du vendeur. Il gère les cas où l'élément n'est pas trouvé et attribue une valeur par défaut de « Non trouvé ».

Enfin, le script invoque le main fonction, qui initialise le Crawling API, extrait les données produit d'un exemple d'URL de produit Amazon et imprime les données extraites sous forme d'objet JSON bien formaté. Ce code fournit un moyen clair et structuré de récupérer les informations essentielles des pages de produits Amazon, ce qui en fait un outil précieux pour le suivi et la surveillance des données produit.

Exemple de sortie:

1
2
3
4
5
6
7
8
9
{
  "Bouton Acheter maintenant": "Présent",
  "Bouton Ajouter au panier": "Présent",
  "Disponibilité": "En stock",
  « Titre du produit »: « Motorola Moto G Stylus 5G | 2021 | Batterie avec 2 jours d'autonomie | Débloqué | Conçu pour les États-Unis 4/128 Go | Appareil photo 48 MP | Émeraude cosmique »,
  "Prix": «$ 149.99»,
  « Nom de l'expéditeur »: « Amazon.com »,
  "Nom du vendeur": « Amazon.com »
}

Stockage des données récupérées dans un fichier CSV

Après avoir extrait avec succès les données de la Buy Box des pages de produits d'Amazon, l'étape logique suivante consiste à stocker efficacement ces précieuses informations. Le format CSV (Comma-Separated Values) est un format largement utilisé pour stocker des données tabulaires et est particulièrement utile lors de l'extraction d'AliExpress avec Python. Il fournit un moyen simple et lisible par l'homme de stocker des données structurées, ce qui en fait un excellent choix pour enregistrer vos données Amazon Buy Box extraites.

Nous allons étendre notre script de récupération de pages de recherche précédent pour inclure une étape permettant de sauvegarder les informations importantes des données récupérées dans un fichier CSV. Pour ce faire, nous utiliserons la bibliothèque Python populaire pandas. Vous trouverez ci-dessous une version mise à jour du script :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
à partir de base d'exploration importer API d'exploration
à partir de bs4 importer BeautifulSoup
importer pandas as pd

def initialiser_crawlbase_api(jeton):
    retourner API d'exploration ({'jeton': jeton})

def scrape_amazon_produit_html(contenu_html):
    soupe = BeautifulSoup(contenu_html, 'html.parser')
    info_produit = {}

    def obtenir_texte_ou_par_défaut(sélecteur, par défaut="Pas trouvé"):
        élément = soup.select_one(sélecteur)
        retourner élément.texte.strip() if un élément d'autre défaut

    def est_élément_présent(sélecteur):
        élément = soup.select_one(sélecteur)
        retourner "Présent" if un élément d'autre "Absent"

    info_produit[« Bouton Acheter maintenant »] = est_élément_présent('span#submit\\.acheter-maintenant')
    info_produit[« Bouton Ajouter au panier »] = est_élément_présent('span#submit\\.ajouter-au-panier')
    info_produit['Disponibilité'] = obtenir_texte_ou_défaut(« #durée de disponibilité »)
    info_produit[« Titre du produit »] = obtenir_texte_ou_défaut('#titreduproduit')
    info_produit['Prix'] = obtenir_texte_ou_défaut('.a-prix .a-hors-champ')
    info_produit[« Nom de l'expéditeur »] = obtenir_texte_ou_défaut('#fulfillerInfoFeature_feature_div span.offer-display-feature-text-message')
    info_produit[« Nom du vendeur »] = obtenir_texte_ou_défaut('#merchantInfoFeature_feature_div span.offer-display-feature-text-message')

    retourner info_produit

def scrape_amazon_product_info(API, URL):
    choix = {
        'page_wait': 2000,
        'ajax_wait': 'vrai'
    }
    réponse = api.get(url, options)

    if réponse['code_d'état']== 200:
        html_content = réponse['corps'].décoder('latin1')
        retourner scrape_amazon_produit_html(contenu_html)
    d'autre:
        impression(« Échec de la récupération de la page. Code d'état : », réponse['code_d'état'])
        retourner Aucun

def principal†
    api = initialize_crawlbase_api('VOUS_CRAWLBASE_JS_TOKEN')
    info_produit = scrape_amazon_info_produit(api, "https://www.amazon.com/Motorola-Stylus-Battery-Unlocked-Emerald/dp/B0BFYRV4CD")

    if info_produit:
        # Créer un DataFrame à partir du dictionnaire product_info
        df = pd.DataFrame([informations_produit])
        # Enregistrer le DataFrame dans un fichier CSV
        df.to_csv('amazon_product_info.csv', indice=Faux)

if __nom__ == "__principale__":
    principale()

Le code mis à jour enregistre les données dans un fichier CSV en utilisant la bibliothèque Pandas. Tout d'abord, il crée un DataFrame Pandas à partir du product_info dictionnaire, où chaque paire clé-valeur du dictionnaire correspond à une colonne du DataFrame. Ensuite, il enregistre le DataFrame sous forme de fichier CSV. pd.DataFrame([product_info]) L'instruction construit le DataFrame avec une seule ligne de données, garantissant que les données sont organisées dans une structure tabulaire. Enfin, df.to_csv('amazon_product_info.csv', index=False) exporte le DataFrame vers un fichier CSV nommé amazon_product_info.csv tout en omettant l'indexation par défaut que Pandas ajoute au CSV, ce qui donne lieu à un stockage propre et structuré des informations sur les produits Amazon extraites.

amazon_product_info.csv Exposition :

Aperçu du fichier CSV de sortie

Mot de la fin

J'espère que vous pouvez désormais facilement récupérer les données de la Buy Box d'Amazon. Pour plus de tutoriels sur le scraping d'Amazon, consultez les liens ci-dessous :

(I.e. Comment récupérer les avis d'Amazon
(I.e. Comment extraire les pages de recherche d'Amazon
(I.e. Comment récupérer les données des produits Amazon

Pour plus de tutoriels sur le scraping Amazon, consultez nos guides sur le scraping Prix ​​​​Amazon, Annonces Amazon PPC, ASIN Amazon, Amazon avis, Images d'Amazonet Données Amazon en Ruby.

Nous disposons également d'une vaste bibliothèque de tutoriels comme ceux-ci pour d'autres sites de commerce électronique, comme le scraping Walmart, eBayet AliExpress Données du produit.

Si vous avez des questions ou besoin d'aide, n'hésitez pas à nous contacter ici. Nous sommes là pour vous aider!

Foire aux questions (FAQ)

Q. Qu'est-ce que la Buy Box d'Amazon et pourquoi est-elle importante ?

La Buy Box d'Amazon est une fonctionnalité essentielle sur les pages de produits où les clients peuvent acheter instantanément. Elle est vitale car elle influence considérablement les ventes. Lorsque vous cliquez sur « Ajouter au panier » ou « Acheter maintenant », vous achetez auprès du vendeur dans la Buy Box. Gagner la Buy Box, c'est comme s'emparer de la pole position dans une course de commerce électronique. C'est essentiel pour les acheteurs comme pour les vendeurs car la majorité des ventes sur Amazon se font via cette boîte. Le vendeur qui occupe la Buy Box bénéficie d'une grande visibilité, de plus de ventes et de la confiance des clients.

Q. Pourquoi les vendeurs ont-ils besoin de récupérer des données pour surveiller la Buy Box ?

Les vendeurs ont besoin de scraping de données pour suivre la nature dynamique et compétitive de la Buy Box. La Buy Box change constamment en fonction du prix, de la disponibilité et des performances du vendeur. Pour réussir, les vendeurs doivent adapter leurs stratégies en temps réel. Le scraping de données fournit une surveillance et des données en temps réel sur divers aspects, notamment les prix et les performances des concurrents. Il aide les vendeurs à optimiser leurs stratégies et à sécuriser la place de Buy Box.

Q. Comment le scraping de données relève-t-il des défis tels que les mesures anti-scraping ?

Les sites web comme Amazon disposent de défenses pour empêcher le scraping, comme le suivi des comportements inhabituels ou le blocage des adresses IP. Des outils de scraping de données, comme Crawlbase Crawling API, sont conçus pour contourner ces mesures. Ils peuvent faire tourner les adresses IP, ce qui complique leur blocage par Amazon. De plus, ils peuvent contourner automatiquement les captchas, permettant ainsi au scraping de se poursuivre sans interruption.

Q. De quoi ai-je besoin pour commencer à extraire les données de la Buy Box sur Amazon ?

Pour commencer à extraire les données de la Buy Box, vous aurez besoin de quelques éléments. Tout d'abord, Python doit être installé sur votre ordinateur. Vous aurez également besoin de bibliothèques spécifiques pour le scraping web, telles que Crawlbase, Beautiful Soup et Pandas. Ces bibliothèques vous aident à effectuer des requêtes, à analyser des pages web et à organiser efficacement vos données. De plus, vous aurez besoin d'un Crawlbase jeton, qui vous donne accès au site Web d'Amazon via le Crawlbase Crawling APIVous pouvez commencer votre parcours de scraping de données Buy Box avec ces outils et votre jeton.