Ce blog est un guide étape par étape pour extraire les données des publicités Amazon PPC avec Python. Les publicités Amazon PPC, ou produits sponsorisés, sont devenues un élément essentiel du vaste écosystème publicitaire d'Amazon. Ce sont les publicités que vous voyez lorsque vous effectuez une recherche sur Amazon, souvent étiquetées « Sponsorisées » ou « Publicité ». L'extraction des données des publicités sponsorisées des concurrents vous donne bien plus qu'un avantage concurrentiel. Faites défiler vers le bas pour en savoir plus sur la manière dont les publicités Amazon peuvent profiter à votre entreprise ou vous pouvez accéder directement à l'extraction des données des publicités Amazon en cliquant sur ici.

Alors, détendez-vous, prenez une tasse de café et voyons comment vous pouvez extraire les données publicitaires Amazon PPC à l'aide de Python comme un pro ! 😉

Table des matières

  1. Pour commencer
  • La puissance des publicités Amazon PPC
  • Pourquoi récupérer les données publicitaires Amazon PPC ?
  1. Premiers pas avec Crawlbase Crawling API
  • Présentation de Crawlbase Crawling API
  • Pourquoi choisir Crawlbase Crawling API?
  • Bibliothèque Python Crawlbase
  1. Comprendre les publicités Amazon PPC
  • Décrypter le système publicitaire d'Amazon
  • Types d'annonces PPC sur Amazon
  • Les données que vous souhaitez récupérer
  1. Pré-requis
  • Configuration de votre environnement de développement
  • Installation des bibliothèques requises
  • Créer un compte Crawlbase
  1. Scraping d'annonces PPC Amazon - Étape par étape
  • Obtenir le bon jeton Crawlbase
  • Configuration de Crawlbase Crawling API
  • Gestion du contenu dynamique
  • Extraction des données publicitaires et enregistrement dans la base de données SQLite
  1. Mot de la fin
  2. FAQ - Foire Aux Questions

1. Commencer

Amazon dispose d'un marché vaste et en pleine expansion. Chaque mois, environ 200 millions de personnes achètent sur Amazon. La place de marché d'Amazon compte désormais plus de 2.5 millions de vendeurs qui vendent leurs produits. Une entreprise peut faire tout ce qu'elle peut pour faire connaître sa marque et son produit, mais au début, elle doit souvent utiliser la marque de quelqu'un d'autre pour construire la sienne. Les petites boutiques qui tentent de faire évoluer des plateformes comme Amazon pour se faire connaître auprès d'une clientèle ne pourraient pas le faire seules. Amazon vend à près de 200,000 100,000 entreprises dont le chiffre d'affaires annuel est égal ou supérieur à 25,000 1 dollars. Sur la place de marché, environ XNUMX XNUMX vendeurs gagnent plus d'un million de dollars.

Explorons davantage les raisons pour lesquelles vous devriez supprimer les publicités Amazon.

La puissance des publicités Amazon PPC

Voici pourquoi ces publicités sont si puissantes :

  1. Visibilité améliorée:Les publicités Amazon PPC améliorent la visibilité des produits, en aidant vos produits à apparaître en haut des résultats de recherche pertinents, même au-dessus des listes organiques. Cela augmente la probabilité que les clients potentiels voient et cliquent sur vos produits.
  2. Ciblage de précision:La publicité Amazon est un ciblage ultra-précis. Vous pouvez choisir des mots clés, des produits ou des catégories spécifiques pour afficher vos annonces, afin de garantir qu'elles atteignent le public le plus pertinent.
  3. Payez uniquement pour la performance:Avec le PPC, vous payez uniquement lorsqu'un utilisateur clique sur votre annonce, ce qui signifie que vous ne dépensez pas pour de simples impressions ; vous investissez dans des conversions potentielles.
  4. Insights Basés sur les Données:Les publicités sponsorisées par Amazon fournissent des données et des analyses détaillées sur les performances des publicités. Vous pouvez suivre les clics, les conversions et d'autres indicateurs cruciaux.
  5. Avantage concurrentiel:Tirer parti d'Amazon PPC peut vous donner un avantage sur vos concurrents, en particulier lorsque vous lancez un nouveau produit.

Pourquoi extraire les données des publicités sponsorisées d'Amazon ?

L'extraction de données publicitaires Amazon PPC n'est peut-être pas la première idée qui vient à l'esprit, mais elle recèle un potentiel immense pour les entreprises de commerce électronique. Voici pourquoi vous devriez envisager de vous lancer dans l'extraction de données publicitaires Amazon PPC :

Pourquoi supprimer les publicités Amazon PPC
  1. Analyse de la concurrence:En récupérant les données des annonces Amazon PPC, vous pouvez obtenir des informations sur les stratégies publicitaires de vos concurrents. Vous pouvez surveiller leurs mots-clés, leur contenu publicitaire et leurs stratégies d'enchères pour garder une longueur d'avance.
  2. Optimiser vos campagnes publicitaires:L'accès aux données de vos propres campagnes Amazon PPC vous permet d'analyser leurs performances en détail. Vous pouvez identifier ce qui fonctionne et ce qui ne fonctionne pas, ce qui vous aide à prendre des décisions basées sur les données pour optimiser vos dépenses publicitaires.
  3. Découvrir de nouveaux mots-clés:L'extraction de données publicitaires peut révéler des mots-clés précieux que vous auriez pu manquer lors de votre recherche initiale. Ces nouveaux mots-clés peuvent également être utilisés pour améliorer vos listes organiques.
  4. Rester informé:Le système publicitaire d'Amazon est dynamique. Les nouveaux produits, les nouveaux mots-clés et les tendances changeantes nécessitent une surveillance constante. Le scraping vous tient informé de ces changements et garantit que votre stratégie publicitaire reste pertinente.
  5. Recherche et informations sur le marché:Au-delà de vos propres campagnes, l'extraction des données publicitaires Amazon PPC offre une perspective plus large sur les tendances du marché et le comportement des clients. Vous pouvez identifier les tendances émergentes et les préférences des clients en analysant les données publicitaires à grande échelle.

Dans les sections suivantes de ce guide, vous vous plongerez dans les aspects techniques du scraping des données publicitaires Amazon PPC, libérant ainsi le potentiel d'un avantage concurrentiel dans le monde du commerce électronique.

2. Premiers pas avec Crawlbase Crawling API

Si vous êtes nouveau dans le scraping Web ou expérimenté dans le domaine, vous constaterez que Crawlbase Crawling API simplifie le processus d'extraction de données à partir de sites Web, y compris Récupération des pages de recherche AmazonAvant d’entrer dans les détails de l’utilisation de cette API, prenons un moment pour comprendre pourquoi elle est essentielle et comment elle peut vous être utile.

Présentation de Crawlbase Crawling API

Base d'exploration Crawling API est l'un des meilleurs outils d'exploration Web qui permet aux développeurs et aux entreprises d'extraire facilement des données à partir de sites Web à grande échelle. Il est conçu pour simplifier le scraping Web en fournissant une interface conviviale et des fonctionnalités puissantes. Avec Crawlbase, vous pouvez automatiser le processus d'extraction de données à partir de sites Web, y compris les pages de recherche Amazon, ce qui vous fait gagner un temps et des efforts précieux.

Crawlbase propose une API Restful qui vous permet d'interagir avec leur infrastructure d'exploration par programmation. Cela signifie que vous pouvez envoyer des requêtes à l'API, en spécifiant les URL que vous souhaitez récupérer ainsi que les URL disponibles. paramètres de requête, et recevez les données extraites dans un format structuré, généralement HTML ou JSON. Vous pouvez en savoir plus sur Crawlbase Crawling API ici.

Pourquoi choisir Crawlbase Crawling API?

Vous vous demandez peut-être pourquoi vous devriez opter pour Crawlbase Crawling API lorsque d'autres outils et bibliothèques de scraping Web sont disponibles. Voici quelques raisons convaincantes :

Pourquoi nous choisir Crawling API

Évolutivité: Crawlbase est conçu pour le scraping Web à grande échelle. Que vous ayez besoin de scraper quelques centaines de pages ou des millions, Crawlbase peut s'en charger, garantissant que vos projets de scraping peuvent évoluer en fonction de vos besoins.

Fiabilité:Le scraping Web peut être exigeant, car les sites Web changent souvent de structure. Crawlbase offre une gestion et une surveillance des erreurs robustes, réduisant ainsi les risques d'échec inattendu de vos tâches de scraping.

Gestion des procurations:De nombreux sites Web utilisent des mesures anti-scraping telles que le blocage d'adresses IP. Crawlbase fournit des proxys rotatifs pour vous aider à éviter les interdictions d'adresses IP et à accéder aux données de manière plus fiable.

Commodité:Avec l'API de Crawlbase, vous n'avez pas à vous soucier de la création et de la maintenance de votre propre crawler ou scraper. Il s'agit d'une solution basée sur le cloud qui gère les complexités techniques, vous permettant de vous concentrer sur vos tâches d'extraction de données.

Données en temps réel: Avec Crawling API, vous aurez toujours accès aux données les plus récentes et les plus mises à jour. Il analyse tout en temps réel. C'est essentiel pour une analyse et une prise de décision précises.

Rentable:La création et la maintenance d’une solution de scraping interne peuvent être coûteuses. Crawling API est très rentable et vous ne devez payer que selon vos besoins. Vous pouvez calculer le prix pour Crawling API usage ici.

Bibliothèque Python Crawlbase

Pour exploiter la puissance de Crawlbase Crawling API, vous pouvez utiliser le Bibliothèque Python Crawlbase. Cette bibliothèque simplifie l'intégration de Crawlbase dans vos projets Python, la rendant accessible aux développeurs Python de tous niveaux d'expertise.

Tout d’abord, initialisez le Crawling API classe.

1
api = API d'exploration({ 'jeton': 'VOTRE_JETON_CRAWLBASE' })

Transmettez l’URL que vous souhaitez récupérer en utilisant la fonction suivante.

1
api.get(url, options = {})

Mise en situation :

1
2
3
réponse = api.get("https://www.facebook.com/britneyspears")
if réponse['code_d'état']== 200:
    impression(réponse['corps'])

Vous pouvez passer toutes les options parmi celles disponibles dans le Documentation de l'API.

Mise en situation :

1
2
3
4
5
6
réponse = api.get('https://www.reddit.com/r/pics/comments/5bx4bx/thanks_obama/', {
    'utilisateur_agent': « Mozilla/5.0 (Windows NT 6.2 ; rv:20.0) Gecko/20121202 Firefox/30.0 »,
    'format': 'json'
})
if réponse['code_d'état']== 200:
    impression(réponse['corps'])

La bibliothèque Python de Crawlbase propose de nombreuses autres fonctionnalités. Vous pouvez en savoir plus à ce sujet ici.

Dans les sections suivantes, nous vous guiderons dans l'exploitation des capacités de Crawlbase Crawling API pour extraire efficacement les pages de recherche d'Amazon. Nous utiliserons Python, un langage de programmation polyvalent, pour illustrer le processus étape par étape. Explorons la richesse des informations d'Amazon et apprenons à exploiter son potentiel.

3. Comprendre les publicités Amazon PPC

Avant de nous plonger dans les aspects techniques de l'extraction des données publicitaires PPC d'Amazon, il est essentiel de comprendre les publicités sponsorisées par Amazon, les différents types de publicités et les données spécifiques que vous souhaitez extraire. Commençons par décoder le système publicitaire d'Amazon.

Décrypter le système publicitaire d'Amazon

Le système publicitaire d'Amazon fait la promotion de ses produits de différentes manières, notamment avec les produits sponsorisés, les marques sponsorisées, l'affichage sponsorisé, etc. Concentrons-nous sur le type le plus courant, à savoir les produits sponsorisés.

Les produits sponsorisés sont une forme de publicité Amazon qui permet aux vendeurs de promouvoir des listes de produits individuelles dans les résultats de recherche d'Amazon. Ces publicités sont affichées de manière visible sur les pages de résultats de recherche et les pages de détails des produits.

Types d'annonces PPC sur Amazon

Amazon propose une gamme de types d'annonces PPC. Il est essentiel de comprendre les types d'annonces Amazon pour une stratégie publicitaire efficace. Voici un aperçu des principaux types :

Page de recherche Amazon
  1. Produits sponsorisés:Ces annonces font la promotion de listes de produits individuelles dans les résultats de recherche et sur les pages de détails des produits.
  2. Marques sponsorisées:Anciennement connus sous le nom d'annonces de recherche de titre, les marques sponsorisées permettent aux annonceurs de présenter le logo de leur marque, un titre personnalisé et une sélection de produits dans une bannière publicitaire.
  3. Affichage sponsorisé:Ce type d'annonce est conçu pour atteindre des publics sur et hors Amazon. Il comprend des fonctionnalités telles que le ciblage par produit et le ciblage par audience.
  4. Remarketing par affichage:Les annonceurs peuvent recibler les utilisateurs qui ont déjà visité leurs pages de détails de produits.
  5. Annonces vidéo:Amazon propose des publicités vidéo in-stream permettant aux marques d'engager les acheteurs avec du contenu vidéo.
  6. Magasins:Les magasins Amazon sont des destinations d'achat personnalisées sur plusieurs pages permettant aux marques de présenter leurs produits.

Les données que vous souhaitez récupérer

Maintenant que vous avez une idée de la publicité d'Amazon, concentrons-nous sur les données spécifiques que vous souhaitez extraire des publicités Amazon PPC. Lorsque vous récupérez les données des publicités Amazon PPC, les informations clés que vous chercherez généralement à extraire sont les suivantes :

  1. Informations sur la campagne publicitaire:Ces données fournissent des informations sur les performances globales de vos campagnes publicitaires. Elles incluent les noms des campagnes, les identifiants, les dates de début et de fin, ainsi que les détails du budget.
  2. Données de mot-clé:Les mots-clés sont la base de la publicité PPC. Vous devez récupérer des informations sur les mots-clés, notamment les mots-clés utilisés dans vos campagnes, leurs types de correspondance (large, expression, exacte) et les montants des enchères.
  3. Détails du groupe d'annonces:Les groupes d'annonces vous aident à organiser vos annonces en fonction de thèmes communs. L'extraction des données des groupes d'annonces vous permet de comprendre la structure de vos campagnes.
  4. Mesures de performances des annonces:Les indicateurs essentiels incluent le nombre de clics, les impressions, le CTR, le taux de conversion, les dépenses totales, etc. Ces indicateurs vous aident à évaluer l'efficacité de vos annonces.
  5. Information produit:L'extraction de données sur les produits annoncés, tels que l'ASIN, les titres des produits, les prix et les URL des images, est essentielle pour optimiser le contenu publicitaire.
  6. Analyse de la concurrence:En plus de vos propres données publicitaires, vous souhaiterez peut-être extraire des informations sur les publicités de vos concurrents pour mieux comprendre leurs stratégies et leur ciblage par mots clés.

La compréhension de ces éléments de base et des données spécifiques que vous souhaitez extraire sera essentielle à mesure que vous progresserez dans l'extraction des données publicitaires Amazon PPC à l'aide de Python et de Crawlbase. Crawling APIDans les sections suivantes, vous apprendrez à transformer cette compréhension en processus techniques exploitables.

4. Pré-requis

Avant de nous lancer dans notre aventure de scraping Web, assurons-nous que vous disposez de tous les outils et ressources nécessaires. Dans ce chapitre, nous aborderons les conditions préalables nécessaires à la réussite du scraping Web des pages de recherche Amazon à l'aide de Crawlbase Crawling API.

Configuration de votre environnement de développement

Vous aurez besoin d'un environnement de développement adapté pour commencer à scraper du Web. Voici ce dont vous aurez besoin :

Python:
Python est un langage de programmation polyvalent largement utilisé dans le scraping Web. Assurez-vous que Python est installé sur votre système. Vous pouvez télécharger la dernière version de Python sur le site officiel ici.

Éditeur de code ou IDE:
Choisissez un éditeur de code ou un environnement de développement intégré (IDE) pour écrire et exécuter votre code Python. Les options les plus courantes incluent PyCharm et Jupyter Notebook. Vous pouvez aussi utiliser Google ColabSélectionnez celui qui correspond le mieux à vos préférences et à votre flux de travail.

Installation des bibliothèques requises

Le scraping Web en Python est rendu plus accessible grâce à des bibliothèques qui simplifient des tâches telles que la création de HTTP, l'analyse HTML et la gestion des données. Installez les bibliothèques suivantes à l'aide de pip, le gestionnaire de paquets de Python :

1
2
3
pip installer des pandas
pip installe crawlbase
pip installer beautifulsoup4
  • Pandas:Pandas est une puissante bibliothèque de manipulation de données qui vous aidera à organiser et à analyser efficacement les données extraites.
  • Base d'exploration:Une classe Python légère et sans dépendance qui agit comme wrapper pour l'API Crawlbase.
  • Belle soupe: Beautiful Soup est une bibliothèque Python qui facilite l'analyse HTML et l'extraction de données à partir de pages Web.

Créer un compte Crawlbase

Pour accéder à Crawlbase Crawling API, vous aurez besoin d'un Base d'exploration compte. Si vous n'en avez pas, suivez ces étapes pour créer un compte :

  1. Cliquez sur ici pour créer un nouveau compte Crawlbase.
  2. Remplissez les informations requises, notamment votre nom, votre adresse e-mail et votre mot de passe.
  3. Vérifiez votre adresse e-mail en cliquant sur le lien de vérification envoyé dans votre boîte de réception.
  4. Une fois votre email vérifié, vous pouvez accéder à votre tableau de bord Crawlbase.

Maintenant que votre environnement de développement est configuré et que vous avez un compte Crawlbase prêt, passons aux étapes suivantes, où nous obtiendrons votre jeton Crawlbase et commencerons à faire des demandes à Crawlbase. Crawling API.

5. Amazon PPC Ad Scraping – Étape par étape

Maintenant que nous avons établi les bases, il est temps de plonger dans le processus technique de récupération des données publicitaires Amazon PPC, étape par étape. Cette section vous guidera tout au long du processus, depuis l'envoi de requêtes HTTP à Amazon et la navigation dans les pages de résultats de recherche jusqu'à la structuration de votre scraper pour extraire les données publicitaires. Nous explorerons également la gestion de la pagination pour dénicher plus d'annonces.

Obtenir le bon jeton Crawlbase

Nous devons obtenir un jeton API avant de pouvoir exploiter la puissance de Crawlbase Crawling API. Crawlbase propose deux types de tokens : le token normal (TCP) pour les sites Web statiques et le token JavaScript (JS) pour les sites Web dynamiques ou pilotés par JavaScript. Étant donné qu'Amazon s'appuie fortement sur JavaScript pour le chargement de contenu dynamique, nous opterons pour le token JavaScript.

1
2
3
4
de base d'exploration importer API d'exploration

# Initialiser le Crawling API avec votre jeton JavaScript Crawlbase
api = API d'exploration({ 'jeton': 'VOUS_CRAWLBASE_JS_TOKEN' })

Vous pouvez obtenir votre jeton Crawlbase ici après avoir créé un compte dessus.

Configuration de Crawlbase Crawling API

Armés de notre jeton JavaScript, nous sommes prêts à configurer Crawlbase Crawling API. Mais avant de continuer, examinons la structure de la réponse de sortie. La réponse que vous recevez peut se présenter sous deux formats : HTML ou JSON. Le choix par défaut pour le Crawling API est au format HTML.

Réponse HTML :

1
2
3
4
5
6
7
En-têtes:
  url: "L'URL qui a été explorée"
  statut_original: 200
  pc_status: 200

Les chuchotements :
  Le HTML de la page

Pour obtenir la réponse au format JSON vous devez passer un paramètre « format » avec la valeur « json ».

Réponse JSON :

1
2
3
4
5
6
{
  "état_original": "200",
  "pc_status": 200,
  "url": "L'URL qui a été explorée",
  "corps": "Le HTML de la page"
}

Nous pouvons en savoir plus sur Crawling API RAPIDE ici. Pour l'exemple, nous utiliserons l'option par défaut. Nous utiliserons l'objet API initialisé pour effectuer des requêtes. Spécifiez l'URL que vous souhaitez récupérer à l'aide de l' api.get(url, options={}) la fonction.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
de base d'exploration importer API d'exploration

# Initialiser le Crawling API avec votre jeton Crawlbase
api = API d'exploration({ 'jeton': 'VOUS_CRAWLBASE_JS_TOKEN' })

# URL de la page de recherche Amazon que vous souhaitez récupérer
amazon_search_url = 'https://www.amazon.com/s?k=headphones'

# Faire une demande pour extraire la page de recherche Amazon
réponse = api.get(amazon_search_url)

# Vérifiez si la demande a réussi
if réponse['code_d'état']== 200:
    # Contenu HTML extrait après décodage des données d'octets
    (#latin1 gérera également les caractères chinois)
    html_content = réponse['corps'].décoder('latin1')

    # Enregistrer le contenu HTML dans un fichier
    avec ouvert('sortie.html', 'w', encodage=« utf-8 ») as fichier:
      fichier.write(contenu_html)
d'autre:
    impression(« Échec de la récupération de la page. Code d'état : », réponse['code_d'état'])

Dans l'extrait de code fourni, nous protégeons le contenu HTML acquis en le stockant dans un fichier HTML. Cette action est essentielle pour confirmer l'acquisition réussie des données HTML ciblées. Nous pouvons ensuite examiner le fichier pour inspecter le contenu spécifique contenu dans le code HTML exploré.

output.html Aperçu :

Sortie vierge Amazon

Comme vous pouvez le voir ci-dessus, aucune information utile n'est présente dans le code HTML analysé. Cela est dû au fait qu'Amazon charge son contenu important de manière dynamique à l'aide de JavaScript et d'Ajax.

Gestion du contenu dynamique

Tout comme de nombreux sites Web contemporains, les pages de recherche d'Amazon utilisent le chargement de contenu dynamique via le rendu JavaScript et les appels Ajax. Ce comportement dynamique peut présenter des défis lors de la tentative d'extraction de données à partir de ces pages. Néanmoins, grâce à Crawlbase Crawling API, ces défis peuvent être résolus efficacement. Nous pouvons exploiter les paramètres de requête suivants fournis par le Crawling API pour s'attaquer à ce problème.

Intégration des paramètres

Lorsque vous utilisez le jeton JavaScript en conjonction avec l'API Crawlbase, vous avez la possibilité de définir des paramètres spécifiques qui garantissent la capture précise du contenu rendu de manière dynamique. Plusieurs paramètres essentiels incluent :

  • page_wait: Ce paramètre, bien que facultatif, vous permet de spécifier la durée en millisecondes à attendre avant que le navigateur capture le code HTML résultant. Déployez ce paramètre dans les scénarios où une page nécessite un temps de rendu supplémentaire ou lorsque les requêtes AJAX doivent être entièrement chargées avant la capture HTML.
  • ajax_wait: Un autre paramètre facultatif adapté au jeton JavaScript. Il vous permet d'indiquer si le script doit attendre la fin des requêtes AJAX avant de recevoir la réponse HTML. Cela s'avère très utile lorsque le contenu repose sur l'exécution de requêtes AJAX.

Pour utiliser ces paramètres dans notre exemple, nous pouvons mettre à jour notre code comme ceci :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
de base d'exploration importer API d'exploration

# Initialiser le Crawling API avec votre jeton Crawlbase
api = API d'exploration({ 'jeton': 'VOUS_CRAWLBASE_JS_TOKEN' })

# URL de la page de recherche Amazon que vous souhaitez récupérer
amazon_search_url = 'https://www.amazon.com/s?k=headphones'

# options pour Crawling API
choix = {
 'page_wait': 2000,
 'ajax_wait': 'vrai'
}

# Faire une demande pour extraire la page de recherche Amazon avec des options
réponse = api.get(amazon_search_url, options)

# Vérifiez si la demande a réussi
if réponse['code_d'état']== 200:
    # Contenu HTML extrait après décodage des données d'octets
    html_content = réponse['corps'].décoder('latin1')

    # Enregistrer le contenu HTML dans un fichier
    avec ouvert('sortie.html', 'w', encodage=« utf-8 ») as fichier:
      fichier.write(contenu_html)
d'autre:
    impression(« Échec de la récupération de la page. Code d'état : », réponse['code_d'état'])
Sortie Amazon

Crawling API fournit de nombreux autres paramètres importants. Vous pouvez en savoir plus à leur sujet ici.

Extraction des données publicitaires et enregistrement dans la base de données SQLite

Maintenant que nous avons réussi à acquérir le contenu HTML des pages de recherche dynamiques d'Amazon, il est temps d'extraire les précieuses données des annonces Amazon PPC à partir du contenu récupéré. Pour l'exemple, nous allons extraire le titre et le prix des annonces.

Après avoir extrait ces données, il est prudent de les stocker systématiquement. Pour cela, nous utiliserons SQLite, un système de base de données relationnelle léger et efficace qui s'intègre parfaitement à Python. SQLite est un excellent choix pour le stockage local de données structurées et, dans ce contexte, il est parfaitement adapté à la conservation des données publicitaires Amazon PPC extraites.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
importer sqlite3
de bs4 importer BeautifulSoup
de base d'exploration importer API d'exploration

# Fonction pour initialiser la base de données SQLite
def initialiser_db(nom_base):
    conn = sqlite3.connect(nom_base de données)
    curseur = conn.curseur()

    # Créer une table si elle n'existe pas
    curseur.execute('' '
        CRÉER UNE TABLE SI ELLE N'EXISTE PAS ppc_ads (
            id INTEGER CLÉ PRIMAIRE AUTO-INCRÉMENTATION,
            prix TEXTE,
            titre TEXTE
        )
    '' ')

    # Valider la création de la table
    conn.commit()

    retourner conn, curseur

# Fonction pour insérer des données dans la base de données
def insérer_données(conn, curseur, texte_prix, texte_titre):
    # Insérer les données dans la base de données
    curseur.execute('INSÉRER DANS ppc_ads (prix, titre) VALEURS (?, ?)', (texte_prix, texte_titre))
    conn.commit()

# Initialiser la base de données
nom_base = 'ppc_ads.db'
conn, curseur = initialize_db(nom_base_de_données)

# Initialiser le Crawling API avec votre jeton Crawlbase
api = API d'exploration({ 'jeton': 'VOUS_CRAWLBASE_JS_TOKEN' })

# URL de la page de recherche Amazon que vous souhaitez récupérer
amazon_search_url = 'https://www.amazon.com/s?k=headphones'

# options pour Crawling API
choix = {
 'page_wait': 2000,
 'ajax_wait': 'vrai'
}

# Faire une demande pour extraire la page de recherche Amazon avec des options
réponse = api.get(amazon_search_url, options)

# Vérifiez si la demande a réussi
if réponse['code_d'état']== 200:
    # Contenu HTML extrait après décodage des données d'octets
    html_content = réponse['corps'].décoder('latin1')
    # Analyser le contenu HTML à l'aide de Beautiful Soup
    soupe = BeautifulSoup(contenu_html, 'html.parser')

    # Sélectionnez les éléments div des annonces PPC
    annonces = soup.select('.AdHolder div[data-asin], div[data-asin][data-component-type="s-search-result"].AdHolder')
    # Extraire les informations de chaque annonce et les insérer dans la base de données
    pour ad in les publicités:
        # Extraire le prix à l'intérieur de l'annonce div
        prix = ad.select_one('span.a-prix span.a-hors écran')
        if prix:
            prix_texte = prix.texte.strip()
        d'autre:
            prix_texte = "Prix non trouvé"

        # Extraire le titre à l'intérieur de l'annonce div
        titre = ad.select_one('div.a-section h2 aa-lien-normal span, div.a-section aa-lien-normal span.a-hors écran')
        if titre:
            titre_texte = titre.texte.strip()
        d'autre:
            titre_texte = "Titre non trouvé"

        # Insérer les données dans la base de données
        insert_data(conn, curseur, texte_prix, texte_titre)
d'autre:
    impression(« Échec de la récupération de la page. Code d'état : », réponse['code_d'état'])

# Fermer la connexion à la base de données
conn.close()

Exemple de sortie :

Résultats de sortie SQLite

Ce script Python illustre le processus de récupération de la page de recherche d'Amazon pour les annonces PPC. Il commence par initialiser une base de données SQLite, en créant une table pour stocker les données récupérées, y compris l'ID de l'annonce, le prix et le titre. insert_data La fonction est définie pour insérer les données extraites dans cette base de données. Le script configure ensuite l'API Crawlbase pour l'exploration Web, en spécifiant les options pour les temps d'attente des pages et AJAX afin de gérer efficacement le contenu chargé dynamiquement.

Après avoir récupéré avec succès la page de recherche Amazon à l'aide de l'API Crawlbase, le script utilise BeautifulSoup pour analyser le contenu HTML. Il cible spécifiquement les éléments d'annonces PPC sur la page. Pour chaque élément d'annonce, le script extrait les informations de prix et de titre. Il vérifie l'existence de ces détails et les nettoie avant de les insérer dans la base de données SQLite à l'aide de l'API Crawlbase. insert_data fonction. Le script se termine en fermant correctement la connexion à la base de données. En substance, ce script présente le processus complet de grattage web, extraction de données et stockage cloud, essentiel pour divers scénarios d’analyse et d’utilisation des données.

6. Derniers mots

Il s'agissait donc de récupérer des publicités sponsorisées par Amazon. Si vous êtes intéressé par d'autres guides comme ceux-ci, consultez les liens ci-dessous :

(I.e. Comment récupérer les avis d'Amazon
(I.e. Comment extraire les pages de recherche d'Amazon
(I.e. Comment récupérer les données des produits Amazon

Pour obtenir de l'aide et du soutien supplémentaires, consultez les guides sur grattage d'Amazon ASIN, Avis Amazon dans Node, Images d'Amazon et Données Amazon en Ruby.

Nous avons rédigé des guides sur d'autres sites de commerce électronique, comme l'extraction de données sur les produits. Walmart, eBay et AliExpress. juste au cas où vous les gratteriez ;).

N'hésitez pas à nous contacter ici pour des questions et des demandes.

7. Questions fréquemment posées

Q. Qu'est-ce que la publicité Amazon PPC ?

La publicité PPC d'Amazon permet aux vendeurs et aux annonceurs de promouvoir leurs produits sur la plateforme Amazon. Ces publicités sont affichées dans les résultats de recherche et les pages de détails des produits d'Amazon, ce qui permet aux produits d'obtenir une visibilité accrue. Les annonceurs ne paient des frais que lorsqu'un utilisateur clique sur leur publicité. C'est un moyen rentable d'atteindre des clients potentiels qui recherchent activement des produits.

Q. Pourquoi est-il important de récupérer les données publicitaires Amazon PPC ?

L'extraction des données Amazon permet de tirer parti des informations basées sur les données pour améliorer les performances des campagnes PPC, accroître la visibilité et maximiser le retour sur investissement. Tout d'abord, il permet aux entreprises d'obtenir des informations sur les stratégies publicitaires de leurs concurrents, telles que les mots clés, le contenu publicitaire et les techniques d'enchères. Deuxièmement, il permet aux annonceurs d'optimiser leurs propres campagnes publicitaires en analysant les indicateurs de performance. De plus, l'extraction peut révéler des mots clés précieux pour améliorer les listes organiques. De plus, il tient les entreprises informées des changements dans le système publicitaire d'Amazon et fournit des informations plus larges sur le marché, les aidant à garder une longueur d'avance dans le paysage dynamique du commerce électronique.

Q. Qu'est-ce que Crawlbase Crawling API?

Le Base d'exploration Crawling API est un outil sophistiqué de scraping Web qui simplifie le processus d'extraction de données à partir de sites Web à grande échelle. Il offre aux développeurs et aux entreprises un moyen automatisé et convivial de collecter des informations à partir de pages Web. L'une de ses caractéristiques remarquables est l'extraction automatique Rotation IP, qui améliore l'extraction de données en modifiant dynamiquement l'adresse IP pour chaque demande, réduisant ainsi le risque de blocage ou de restrictions IP. Les utilisateurs peuvent envoyer des requêtes à l'API, en spécifiant les URL à extraire, ainsi que les paramètres de requête, et en retour, ils reçoivent les données extraites dans des formats structurés comme HTML ou JSON. Cet outil polyvalent est inestimable pour ceux qui cherchent à collecter des données à partir de sites Web de manière efficace et sans interruption.

Q. Comment puis-je commencer à scraper du Web en utilisant Crawlbase et Python ?

Pour commencer à scraper du Web à l'aide de Crawlbase et Python, suivez ces étapes :

  • Assurez-vous que Python est installé sur votre système.
  • Choisissez un éditeur de code ou un environnement de développement intégré (IDE) pour écrire votre code Python.
  • Installez les bibliothèques nécessaires, telles que BeautifulSoup4 et la bibliothèque Crawlbase, en utilisant pip.
  • Créez un compte Crawlbase pour obtenir un jeton API.
  • Configurez la bibliothèque Python Crawlbase et initialisez le Crawling API avec votre jeton.
  • Faire des demandes à Crawlbase Crawling API pour extraire des données de sites Web, en spécifiant les URL et tous les paramètres de requête.
  • Enregistrez les données extraites et analysez-les selon les besoins de votre cas d’utilisation spécifique.