Si vous êtes dépassé par l'extraction manuelle des données de prix et souhaitez apprendre à extraire les prix d'Amazon grâce à l'IA, vous êtes au bon endroit. Ce blog se concentrera sur les techniques d'extraction automatisée, notamment celles impliquant la récupération automatique XPath. Nous vous guiderons dans la configuration de votre extraction, l'utilisation de l'IA pour obtenir précisément les données dont vous avez besoin et la maîtrise de l'extraction automatisée de données avec XPath. Que vous soyez une petite boutique en ligne ou un géant du e-commerce, ces techniques deviendront vos atouts dans le monde numérique.

Crawlbase's Crawling API vous permet de réduire les prix Amazon grâce à votre outil d'IA préféré. Inscrivez-vous pour utiliser notre outil prêt à l'emploi. Grattoir Amazon; Vos 1000 premières demandes sont gratuites.

Crawlbase's Crawling API vous permet de réduire les prix Amazon grâce à votre outil d'IA préféré. Inscrivez-vous pour utiliser notre outil prêt à l'emploi. Grattoir Amazon; Vos 1000 premières demandes sont gratuites.

Table des matières

  1. Importance du scraping automatisé d'Amazon

  2. Exploration des API nécessaires

  • Crawlbase Crawling API
  • API OpenAI GPT
  1. Se préparer
  • Installation de Python et des bibliothèques essentielles
  • Création d'un environnement virtuel
  • Acquisition de jetons pour Crawlbase et OpenAI
  1. Automatisation du scraping des prix sur Amazon
  • Récupération du code HTML de la page de recherche Amazon
  • Utilisation d'OpenAI pour extraire le XPath des prix
  • Réduction des prix des produits Amazon
  1. Mot de la fin
  2. Foire aux questions (FAQ)

Importance du scraping automatisé d'Amazon

Pour effectuer le scraping, vous devez connaître le sélecteur CSS ou le Sélecteur XPath Pour les éléments. Par conséquent, si vous scrapez des milliers de sites web, vous devez déterminer manuellement le sélecteur pour chacun d'eux. Et si la page change, vous devez également la modifier. C'est là qu'intervient le scraping web automatisé d'Amazon, offrant un avantage décisif à ceux qui exploitent efficacement ses capacités.

Identifier les données nécessaires pour extraire les prix d'Amazon

Les pages de recherche d'Amazon sont riches en données, mais toutes ne sont pas forcément pertinentes pour vos objectifs de scraping spécifiques. Il est essentiel d'identifier les éléments de données précis dont vous avez besoin pour un scraping efficace et ciblé :

  • Informations produits: Déterminez les détails du produit qui sont essentiels à vos objectifs. Il peut s'agir des titres de produits, des prix, des évaluations des clients et des descriptions. L'identification de ces éléments vous aide à extraire les bonnes informations.
  • URL de produits:Si vous souhaitez approfondir l'analyse de produits spécifiques, il est essentiel de saisir les URL des pages de produits individuelles. Cela vous permet d'accéder à des informations plus détaillées pour chaque article.
  • Contrôle de pagination:Il est essentiel de comprendre la structure de la pagination sur les pages de recherche d'Amazon pour collecter des données à partir de plusieurs pages de résultats. Vous devrez localiser et utiliser les éléments appropriés pour parcourir efficacement les pages.

Au fur et à mesure que nous progresserons dans ce blog, nous appliquerons ces connaissances à nos techniques de scraping automatisé. Vous apprendrez à localiser et à extraire les données dont vous avez besoin à partir des pages de recherche d'Amazon, ce qui vous permettra de recueillir des informations précieuses et de prendre des décisions basées sur les données dans le monde du commerce électronique.

Comment réduire les prix d'Amazon : étape par étape

Avant de vous lancer dans le scraping automatisé, assurez-vous de disposer des outils et de la configuration adéquats. Cette section présente les étapes de préparation initiales, notamment l'installation de Python, la création d'un environnement virtuel et l'acquisition des jetons nécessaires. Crawlbase et OpenAI.

1. Installer Python et les bibliothèques essentielles

Python est la pierre angulaire des projets de scraping Web, et plusieurs bibliothèques joueront un rôle essentiel dans votre parcours. Commençons par vérifier que Python et les bibliothèques suivantes sont installées :

Installation de Python:Si vous n'avez pas installé Python, téléchargez la dernière version depuis le site Web officiel de Python et suivez les instructions d'installation correspondant à votre système d'exploitation.

Bibliothèques requises:Les bibliothèques suivantes sont nécessaires pour suivre ce blog avec succès.

  1. Crawlbase Bibliothèque Python: Pour interagir avec le Crawlbase Crawling API, vous aurez besoin du Crawlbase Bibliothèque Python. Cette bibliothèque simplifie le processus de requêtes Crawlbase Pour le web scraping. Installez-le avec :
1
pip installe crawlbase
  1. Bibliothèque OpenAI Python:Comme vous utiliserez le GPT d'OpenAI pour obtenir XPath, vous devez installer la bibliothèque Python d'OpenAI. Cette bibliothèque vous permet d'interagir efficacement avec les API d'OpenAI. Installez-la en utilisant :
1
pip installer openai
  1. lxml:La bibliothèque Python lxml est un outil robuste et efficace pour analyser et travailler avec des documents XML et HTML. Elle fournit une interface puissante et conviviale pour naviguer et manipuler des données structurées.
1
pip installer lxml

2. Créez un environnement virtuel

La création d'un environnement virtuel est une bonne pratique en matière de développement Python. Elle garantit que votre projet dispose de son environnement isolé avec les packages requis. Voici comment configurer un environnement virtuel :

  1. Installer Virtualenv:Si vous n'avez pas installé virtualenv, vous pouvez le faire en utilisant pip :
1
pip installer virtualenv
  1. Créer un environnement virtuel:Accédez au répertoire de votre projet et exécutez la commande suivante pour créer un environnement virtuel :
1
virtualenv venv
  1. Activer l'environnement virtuel:Selon votre système d'exploitation, la commande d'activation peut différer :
  • Sur Windows:
1
venv\Scripts\activate
  • Sur macOS et Linux:
1
source venv/bin/activate

Votre environnement virtuel est désormais configuré et activé. Vous pouvez installer des packages spécifiques au projet sans interférer avec votre installation Python à l'échelle du système.

3. Acquérir des jetons pour Crawlbase et OpenAI

Pour utiliser la Crawlbase Crawling API et l'API OpenAI GPT, vous devrez obtenir les jetons ou les clés API nécessaires. Voici comment les acquérir :

Crawlbase Token : Visiter le Crawlbase site de NDN Collective et créez un compte. Une fois inscrit, vous trouverez votre jeton ou clé API dans le Documentation. Crawlbase Amazon propose deux types de jetons : le jeton normal (TCP) pour les sites web statiques et le jeton JavaScript (JS) pour les sites web dynamiques ou JavaScript. Pour Amazon, nous avons besoin d'un jeton JS. Conservez-le précieusement, car il sera essentiel pour accéder à l'application. Crawlbase API. Pour un démarrage facile, Crawlbase donne 1000 demandes gratuites pour son Crawling API.

Jeton OpenAI GPT: Visiter le Site Web d'OpenAI et créez un compte si vous ne l'avez pas déjà fait. Accédez à votre jeton API à partir des paramètres de votre compte OpenAI. Ce jeton est requis pour effectuer des requêtes à l'API OpenAI GPT.

Dans les sections suivantes de ce blog, nous vous guiderons à travers les étapes pratiques pour extraire les prix des produits des pages de recherche d'Amazon de manière efficace et efficiente. Restez avec nous pendant que nous explorons les outils et les techniques qui vous donneront un avantage concurrentiel dans le commerce électronique.

Automatisation du scraping des prix sur Amazon

Maintenant que vous êtes bien préparé et équipé des outils et jetons nécessaires, il est temps de plonger au cœur du scraping automatisé. Cette section vous guidera à travers les étapes détaillées pour extraire les prix des produits Amazon à l'aide de l'outil Crawlbase Crawling API et OpenAI.

Récupération du code HTML de la page de recherche Amazon

La première étape de l'automatisation du scraping de prix consiste à récupérer le contenu HTML des pages de recherche d'Amazon. Ce contenu HTML contient les informations produit, y compris les prix. Comme de nombreux sites web modernes, les pages de recherche d'Amazon utilisent des technologies sophistiquées comme JavaScript et Ajax pour charger leur contenu. Cela peut compliquer l'extraction de données depuis ces pages. Cependant, avec Crawlbase Crawling API, vous disposez des outils pour gérer efficacement ces défis. Vous trouverez ci-dessous le script Python permettant de récupérer le code HTML de la page de recherche Amazon pour la requête macbook .

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
à partir de base d'exploration importer API d'exploration

# Initialiser le Crawling API avec la Crawlbase jeton
api = API d'exploration({ 'jeton': 'VOUS_CRAWLBASE_JS_TOKEN' })

# URL de la page de recherche Amazon que vous souhaitez récupérer
amazon_search_url = 'https://www.amazon.com/s?k=macbook'

# options pour Crawling API
choix = {
 'page_wait': 2000,
 'ajax_wait': 'vrai'
}

# Faire une demande pour extraire la page de recherche Amazon avec des options
réponse = api.get(amazon_search_url, options)

# Vérifiez si la demande a réussi
if réponse['code_d'état']== 200:
    # Contenu HTML extrait après décodage des données d'octets
    html_content = réponse['corps'].décoder('latin1')

    # Enregistrer le contenu HTML dans un fichier
    avec ouvert('sortie.html', 'w', encodage=« utf-8 ») as fichier:
      fichier.write(contenu_html)
d'autre:
    impression(« Échec de la récupération de la page. Code d'état : », réponse['code_d'état'])

Lors de l'utilisation du jeton JavaScript avec le Crawlbase API : vous pouvez spécifier des paramètres spécifiques pour garantir une capture précise du contenu rendu dynamiquement. Vous pouvez en savoir plus ici.

  • page_wait: Ce paramètre facultatif vous permet de spécifier le nombre de millisecondes à attendre avant que le navigateur capture le code HTML résultant. Utilisez ce paramètre dans les situations où une page prend du temps à s'afficher ou lorsque les requêtes AJAX doivent être chargées avant la capture du code HTML.
  • ajax_wait: Un autre paramètre facultatif pour le jeton JavaScript. Il vous permet de spécifier s'il faut attendre la fin des requêtes AJAX avant de recevoir la réponse HTML. Ceci est important lorsque le contenu repose sur des requêtes AJAX.

output.html Exposition :

Aperçu HTML exploré

Utilisation d'OpenAI pour extraire le XPath des prix

Dans notre quête d'automatisation de l'extraction des prix des produits à partir des pages de recherche d'Amazon, nous nous tournons vers les capacités remarquables d'OpenAI, en particulier le modèle GPT (Generative Pre-trained Transformer). Mettons à jour l'exemple précédent et ajoutons le code pour utiliser OpenAI afin de générer des expressions XPath précises pour extraire efficacement les prix des produits à partir du contenu HTML en utilisant Invites GPT-4 pour une précision optimale :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
importer ouvert
importer asynchrone
à partir de base d'exploration importer API d'exploration

# Remplacez « your_openai_api_key » par votre clé API OpenAI
openai.api_key = 'votre_clé_API_Openai'

# Initialiser le Crawling API avec la Crawlbase jeton
api = API d'exploration({ 'jeton': 'VOUS_CRAWLBASE_JS_TOKEN' })

# URL de la page de recherche Amazon que vous souhaitez récupérer
amazon_search_url = 'https://www.amazon.com/s?k=macbook'

# Options pour Crawling API
choix = {
    'page_wait': 2000
}

async def obtenir_xpath(html):
    réponse = attendre openai.Complétion.créer(
        moteur="gpt-3.5-turbo",
        message=[
            {"rôle": "système", "teneur": « En tant qu'entité d'assistance, votre rôle est d'identifier avec habileté l'expression XPath complète, englobant le chemin de la source HTML à l'élément de prix du produit dans l'invite. Votre réponse doit être constituée uniquement de l'expression XPath complète, dépourvue d'explications supplémentaires, de notes ou de tout texte supplémentaire. Plusieurs répétitions de la même réponse sont autorisées. »},
            {"rôle": "utilisateur", "teneur":html}
        ]
    )
    retourner réponse.choix[0].message["teneur"]

async def principal†
    # Faire une demande pour extraire la page de recherche Amazon avec des options
    réponse = api.get(amazon_search_url, options)

    # Vérifiez si la demande a réussi
    if réponse['code_d'état']== 200:
        # Contenu HTML extrait après décodage des données d'octets
        html_content = réponse['corps'].décoder('latin1')
        xpath = attendre obtenir_xpath(contenu_html)
        impression(path)
    d'autre:
        impression(« Échec de la récupération de la page. Code d'état : », réponse['code_d'état'])

if __nom__ == "__principale__":
    asyncio.run(main())

Ce code constitue le pont entre votre contenu HTML et les expressions XPath précises nécessaires pour localiser et extraire les prix des produits. Il initie la communication avec le moteur GPT-3.5 Turbo d'OpenAI, fournit des instructions et reçoit les expressions XPath générées adaptées à vos besoins de scraping. Le XPath généré est ensuite facilement disponible pour vos tâches de scraping Web, ce qui simplifie le processus et améliore la précision.

4. Réduction des prix des produits Amazon

Pour faire passer votre parcours de scraping au niveau supérieur, nous allons améliorer l'exemple de script précédent en ajoutant une fonction appelée find_max_price. Cette fonction utilise la bibliothèque Python lxml pour analyser le contenu HTML et sélectionner tous les prix des produits en fonction de l'expression XPath générée. Elle convertit ensuite les chaînes de prix sélectionnées en valeurs numériques et identifie le prix le plus élevé à l'aide de max() fonction. Enfin, le script imprime le prix le plus élevé du Macbook trouvé sur la page de recherche d'Amazon, vous fournissant ainsi un point de données précieux.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
importer ouvert
importer asynchrone
importer lxml
à partir de base d'exploration importer API d'exploration

# Remplacez « your_openai_api_key » par votre clé API OpenAI
openai.api_key = 'votre_clé_API_Openai'

# Initialiser le Crawling API avec la Crawlbase jeton
api = API d'exploration({ 'jeton': 'VOUS_CRAWLBASE_JS_TOKEN' })

# URL de la page de recherche Amazon que vous souhaitez récupérer
amazon_search_url = 'https://www.amazon.com/s?k=macbook'

# Options pour Crawling API
choix = {
    'page_wait': 2000
}

async def obtenir_xpath(html):
    réponse = attendre openai.Complétion.créer(
        moteur="gpt-3.5-turbo",
        message=[
            {"rôle": "système", "teneur": « Votre rôle en tant qu'entité d'assistance est d'identifier avec compétence l'expression XPath globale qui trace le chemin depuis la source HTML jusqu'aux éléments de titre et de prix du produit dans l'invite. Votre réponse doit uniquement inclure l'expression XPath complète pour les deux éléments, sans aucune explication, note ou texte supplémentaire. Il est acceptable de répéter la même réponse plusieurs fois. »},
            {"rôle": "utilisateur", "teneur":html}
        ]
    )
    retourner réponse.choix[0].message["teneur"]

def trouver_prix_max(contenu html, xpath):
    parsed_html = html.fromstring(contenu_html)
    # Utilisez l'expression XPath générée pour sélectionner et extraire les prix des produits
    chaînes_de_prix = parsed_html.xpath(xpath)

    # Convertir les chaînes de prix en valeurs flottantes
    prix = [flotter(prix) pour prix in [chaînes de prix]

    # Trouvez le prix le plus élevé
    prix_le_plus_élevé = max(prix)

    # Imprimez le prix le plus élevé
    impression(« Le prix le plus élevé d'un MacBook est : », prix le plus élevé)

async def principal†
    # Faire une demande pour extraire la page de recherche Amazon avec des options
    réponse = api.get(amazon_search_url, options)

    # Vérifiez si la demande a réussi
    if réponse['code_d'état']== 200:
        # Contenu HTML extrait après décodage des données d'octets
        html_content = réponse['corps'].décoder('latin1')
        xpath = attendre obtenir_xpath(contenu_html)

        trouver_prix_max(contenu_html, xpath)

    d'autre:
        impression(« Échec de la récupération de la page. Code d'état : », réponse['code_d'état'])

if __nom__ == "__principale__":
    asyncio.run(main())

Exemple de sortie :

1
Le prix le plus élevé du MacBook est de : 5,299 XNUMX

Grâce à cet ajout, votre script de scraping récupère désormais non seulement les données, mais les traite également pour vous fournir des informations précieuses, telles que le prix le plus élevé du Macbook trouvé sur la page de recherche d'Amazon. Vous souhaiterez peut-être également savoir comment gérer la pagination lors du scraping et de l'enregistrement des résultats dans un format approprié. Pour cela, vous pouvez vous référer à ceci blogProfitez de vos capacités de scraping améliorées !

Réflexions finales

Nous espérons que ce blog vous aidera à automatiser vos efforts de scraping et vous fera gagner beaucoup de temps. Si vous souhaitez extraire les données produits de Walmart ou ses pages de recherche, consultez les guides suivants :

(I.e. Comment récupérer les avis d'Amazon
(I.e. Comment extraire les pages de recherche d'Amazon
(I.e. Comment récupérer les données des produits Amazon

Vous pouvez trouver des guides supplémentaires comme grattage d'Amazon ASIN, Avis Amazon dans Node, Images d'Amazonet Données Amazon en Ruby. De plus, pour des guides de scraping de commerce électronique au-delà de Walmart, consultez nos tutoriels sur le scraping de données de produits à partir de Walmart, eBayet AliExpress.

N'hésitez pas à nous contacter ici si vous avez besoin d'aide supplémentaire ou si vous avez des questions supplémentaires.

Foire aux questions (FAQ)

Q : Que dois-je faire avec les données de prix Amazon récupérées ?

Ce que vous faites avec les données de prix récupérées sur Amazon dépend en grande partie de vos intentions et de votre conformité aux réglementations légales en vigueur. Si vous envisagez d'utiliser les données à des fins personnelles ou d'analyse, vous pouvez généralement le faire à condition que cela soit conforme aux conditions générales d'Amazon et aux lois sur le scraping Web en vigueur dans votre région. Cependant, le partage, la vente ou la publication de données récupérées, en particulier à des fins commerciales, nécessitent souvent l'autorisation explicite d'Amazon.

Q : Comment le scraping automatisé d’Amazon peut-il profiter à mon entreprise de commerce électronique ?

Le scraping automatisé offre plusieurs avantages aux entreprises de commerce électronique. Il vous permet de surveiller en permanence les prix concurrentiels et les offres de produits. Il fournit des informations détaillées sur les tendances des produits, les préférences des clients et les demandes du marché, ce qui est inestimable pour le développement de produits et le marketing ciblé. De plus, des informations produit précises et à jour sur votre site Web de commerce électronique garantissent une expérience d'achat fluide pour les clients.

Q : Puis-je adapter le scraping automatisé d’Amazon pour gérer les modifications de mise en page du site Web ?

Oui, le scraping automatisé s'adapte aux changements de présentation des sites web Amazon. Lorsque les sites web mettent à jour leur design ou leur structure, le scraping automatisé utilise des techniques telles que les sélecteurs CSS et les expressions XPath flexibles pour garantir une collecte de données ininterrompue. Cette adaptabilité est précieuse, car elle vous permet de conserver des données précises et à jour même lorsque les sites web changent d'apparence.

Q : Qu'est-ce qu'un grattoir de prix Amazon ?

Un outil de grattage de prix Amazon est un outil ou un script qui extrait automatiquement les prix des produits d'Amazon. Il imite l'utilisation d'Amazon par les humains et collecte des informations sur les prix des produits en temps réel, notamment les remises, les prix d'origine et les variations de prix au fil du temps.