Consultez facilement les prix de Walmart et transformez Internet en assistant d'achat personnel. Que vous compariez les prix, dirigiez une entreprise ou aimiez simplement collecter des données, savoir comment extraire les prix d'un grand détaillant comme Walmart est incroyablement utile. Cela vous permet de prendre de meilleures décisions d'achat, de rester informé des tendances du marché et de trouver les meilleures offres du marché.

Cet article présente une méthode simple pour collecter les données de tarification de Walmart à l'aide de techniques de scraping Web. Avec Python et Base d'exploration Crawling API, vous apprendrez à obtenir les prix dont vous avez besoin sans problème. À la fin de cette lecture, vous serez équipé pour recueillir les prix Walmart rapidement et sans effort.

Prêt à commencer ? Nous sommes sur le point de rendre le scraping Web aussi simple que les achats en ligne. Bienvenue dans des conseils simples sur la façon d'accéder aux informations sur les prix de Walmart !

Table des matières

  1. Pour commencer
  • La puissance de l'extraction de données
  • Aperçu de Walmart et des prix de ses produits
  1. Configuration de votre environnement
  • Installation de Python et des bibliothèques nécessaires
  • Choisir le bon environnement de développement intégré (IDE)
  • Inscription à Crawlbase Crawling API et obtenir les informations d'identification de l'API
  1. Comprendre la structure du site Web de Walmart
  • Découvrir les composants des pages de produits Walmart
  • Identifier les éléments de prix pour le scraping
  1. Introduction à Crawlbase Crawling API
  • Présentation de Crawlbase Crawling API
  • Avantages de l'utilisation de Crawlbase Crawling API
  • Comment utiliser la bibliothèque Python Crawlbase
  1. Prix ​​du Web Scraping chez Walmart
  • Lancer des requêtes HTTP vers les pages de produits Walmart
  • Analyser le code HTML pour déterminer l'emplacement des données de prix
  • Extraction des informations de prix à partir de HTML
  • Extraction de plusieurs pages de produits à partir des résultats de recherche
  1. Stockage des données de prix récupérées
  • Sauvegarde des données de prix récupérées dans un fichier CSV
  • Stockage des données dans une base de données SQLite pour une analyse plus approfondie
  1. Mot de la fin
  2. FAQ - Foire Aux Questions

Pour commencer

Dans cette section, nous allons poser les bases de notre voyage dans le monde du scraping Web, en nous concentrant plus particulièrement sur les prix des produits de Walmart. Nous commencerons par présenter « La puissance de l'extraction de données », puis nous donnerons un aperçu de Walmart et de ses données sur les prix des produits.

La puissance de l'extraction de données

L'extraction de données, souvent appelée Web scraping dans le monde en ligne, est un processus qui vous permet de collecter et d'organiser de vastes quantités de données à partir de sites Web de manière automatisée et systématique. Considérez-le comme votre assistant numérique, qui collecte, catégorise et présente sans relâche des informations précieuses provenant des profondeurs d'Internet. Les applications d'extraction de données sont aussi diverses que les données elles-mêmes, et leur impact peut être transformateur dans divers aspects de la vie moderne.

Voici pourquoi l’extraction de données est une compétence indispensable :

Pourquoi l’extraction de données est une compétence indispensable
  1. Analyse de marché et veille concurrentielle:L'extraction de données est un atout stratégique pour une entreprise. Elle vous permet de garder un œil vigilant sur les prix des concurrents, les offres de produits et les avis des clients. Ces connaissances sont essentielles pour prendre des décisions éclairées, comme fixer des prix compétitifs ou peaufiner vos stratégies marketing.
  2. Comparaison de prix et achats intelligents:L'extraction de données vous aide à naviguer facilement dans le paysage du commerce électronique en tant que consommateur. Vous pouvez comparer sans effort les prix des produits de plusieurs détaillants en ligne, ce qui vous permet d'obtenir les meilleures offres et d'économiser votre argent durement gagné.
  3. Agrégation de contenu:Les créateurs de contenu et les chercheurs bénéficient de l'extraction de données en automatisant la collecte d'articles, de billets de blog, d'actualités ou de données de recherche. Ce processus rationalise la recherche et la création de contenu, libérant du temps pour des tâches plus créatives et analytiques.
  4. Surveillance en temps réel:L'extraction de données vous permet de surveiller en continu des sources de données dynamiques. Cela est essentiel pour rester au courant des informations en évolution rapide, telles que les cours des actions, les mises à jour météorologiques ou les tendances des médias sociaux.
  5. Génération de leads et études de marché:Les entreprises peuvent générer des prospects potentiels en récupérant des données provenant de diverses sources, telles que des annuaires d'entreprises ou des profils de réseaux sociaux. Ces données peuvent être utilisées pour des campagnes marketing ciblées ou des études de marché.
  6. Alertes et notifications personnalisées:L'extraction de données peut configurer des alertes et des notifications personnalisées pour des événements spécifiques ou des modifications de données, garantissant que vous êtes instantanément informé lorsque quelque chose d'important se produit.

Aperçu de Walmart et des prix de ses produits

Walmart n'a pas besoin d'être présenté. C'est l'un des plus grands géants de la vente au détail au monde, avec une présence en ligne importante proposant des produits divers. Les prix des produits de Walmart revêtent une importance capitale pour les acheteurs et les entreprises. En tant qu'acheteur, vous pouvez explorer un large éventail d'articles chez Walmart, et le fait de pouvoir gratter et comparer les prix peut entraîner des économies de coûts. Pour les entreprises, le suivi et l'analyse des prix de Walmart peuvent fournir un avantage concurrentiel et soutenir les stratégies de tarification.

La collecte manuelle des données de prix sur le site Web de Walmart peut prendre du temps et des efforts. C'est là que l'extraction de données, en particulier le scraping Web, vient à la rescousse. Dans ce blog, nous allons découvrir comment récupérer les prix des produits de Walmart à l'aide de Python et de Crawlbase Crawling API, simplifiant le processus et le rendant hautement efficace.

Maintenant que nous avons exploré la puissance de l'extraction de données et que nous avons un aperçu des prix des produits de Walmart, passons à la configuration de notre environnement pour le monde passionnant du scraping Web.

Configuration de votre environnement

Avant de plonger dans le monde passionnant du scraping Web à prix Walmart, nous devons préparer notre environnement. Cela comprend l'installation des outils nécessaires, la sélection du bon environnement de développement intégré (IDE) et l'obtention des informations d'identification API essentielles.

Installation de Python et des bibliothèques nécessaires

Python est le langage de programmation de choix pour le scraping Web en raison de sa polyvalence et de la richesse de ses bibliothèques. Si Python n'est pas déjà installé sur votre système, vous pouvez le télécharger à partir du site Web officiel à l'adresse python.org. Une fois que Python est opérationnel, l'étape suivante consiste à vous assurer que vous disposez des bibliothèques requises pour notre projet de scraping Web. Nous utiliserons principalement trois bibliothèques principales :

  1. Bibliothèque Python Crawlbase : cette bibliothèque est le cœur de notre processus de scraping Web. Elle nous permet d'effectuer des requêtes HTTP vers les pages de produits de Walmart à l'aide de Crawlbase Crawling API. Pour l’installer, vous pouvez utiliser la commande « pip » avec :
1
pip installe crawlbase
  1. Beautiful Soup 4 : Beautiful Soup est une bibliothèque Python qui simplifie l'analyse du contenu HTML des pages Web. C'est un outil indispensable pour extraire des données. Installez-le avec :
1
pip installer beautifulsoup4
  1. Pandas : Pandas est une puissante bibliothèque de manipulation et d'analyse de données en Python. Nous l'utiliserons pour stocker et gérer efficacement les données de prix récupérées. Vous pouvez installer Pandas avec :
1
pip installer des pandas

La mise en place de ces bibliothèques nous permet de bénéficier d'une expérience de scraping Web fluide.

Sélection du bon environnement de développement intégré (IDE)

Bien que vous puissiez écrire du code Python dans un simple éditeur de texte, un environnement de développement intégré (IDE) peut améliorer considérablement votre expérience de développement. Il fournit des fonctionnalités telles que la mise en surbrillance du code, la saisie semi-automatique et les outils de débogage, ce qui rend votre codage plus efficace. Voici quelques IDE Python populaires à prendre en compte :

  1. PyCharm:PyCharm est un IDE robuste avec une édition communautaire gratuite. Il offre des fonctionnalités telles que l'analyse de code, un débogueur visuel et la prise en charge du développement Web.
  2. Code Visual Studio (code VS): VS Code est un éditeur de code gratuit et open source développé par Microsoft. Sa vaste bibliothèque d'extensions le rend polyvalent pour diverses tâches de programmation, notamment le scraping Web.
  3. Jupyter Notebook:Jupyter Notebook est excellent pour le codage interactif et l'exploration de données et est couramment utilisé dans les projets de science des données.
  4. Spyder:Spyder est un IDE conçu pour les tâches scientifiques et liées aux données, offrant des fonctionnalités telles qu'un explorateur de variables et une console interactive.

Inscription à Crawlbase Crawling API et obtention des informations d'identification de l'API

Pour que notre projet de scraping Web soit un succès, nous exploiterons la puissance de Crawlbase Crawling API. Cette API est conçue pour gérer efficacement des scénarios complexes de scraping Web tels que les pages de produits de Walmart. Elle simplifie l'accès au contenu Web tout en contournant les défis courants tels que le rendu JavaScript, les CAPTCHA et les mesures anti-scraping.

L'une des fonctionnalités notables de Crawlbase Crawling API La rotation des adresses IP permet d'éviter les blocages d'adresses IP et les problèmes CAPTCHA. En faisant tourner les adresses IP, l'API garantit que vos demandes de scraping Web apparaissent comme si elles provenaient de différents emplacements, ce qui rend plus difficile pour les sites Web de détecter et de bloquer les activités de scraping.

Voici comment démarrer avec Crawlbase Crawling API:

  1. Visitez le site Web de Crawlbase: ouvrez votre navigateur Web et accédez au Page d'inscription à Crawlbase pour commencer le processus d'inscription.
  2. Fournissez vos coordonnées : il vous sera demandé de fournir votre adresse e-mail et de créer un mot de passe pour votre compte Crawlbase. Remplissez les informations requises.
  3. Vérification:Après avoir soumis vos informations, vous devrez peut-être vérifier votre adresse e-mail. Vérifiez votre boîte de réception pour obtenir un e-mail de vérification de Crawlbase et suivez les instructions fournies.
  4. Connexion:Une fois votre compte vérifié, revenez sur le site Web de Crawlbase et connectez-vous à l'aide de vos informations d'identification nouvellement créées.
  5. Accédez à votre jeton API: Vous aurez besoin d'un jeton API pour utiliser Crawlbase Crawling API. Vous pouvez trouver vos jetons API sur votre tableau de bord Crawlbase.

Notez : : Crawlbase propose deux types de jetons, un pour les sites Web statiques et un autre pour les sites Web dynamiques ou basés sur JavaScript. Étant donné que nous récupérons Walmart, qui s'appuie sur JavaScript pour le chargement de contenu dynamique, nous opterons pour le jeton JavaScript. Crawlbase offre généreusement une allocation initiale de 1,000 XNUMX requêtes gratuites pour le Crawling API, ce qui en fait un excellent choix pour notre projet de web scraping.

Maintenant que nous avons configuré notre environnement, nous sommes prêts à approfondir la compréhension de la structure du site Web de Walmart et à utiliser efficacement Crawlbase. Crawling API pour notre projet de scraping Web.

Comprendre la structure du site Web de Walmart

Avant de nous lancer dans le monde passionnant du scraping Web des prix Walmart, il est essentiel de comprendre la structure du site Web de Walmart. Comprendre la mise en page et les composants des pages de produits de Walmart est essentiel pour identifier les éléments que nous souhaitons récupérer, en particulier les informations sur les prix.

Découverte des composants des pages de produits Walmart

Les pages de produits de Walmart sont de véritables trésors d'informations précieuses. Chaque page est méticuleusement conçue pour offrir aux clients une vue complète du produit. Nous devons décomposer ces pages en leurs composants essentiels en tant que scrapers Web. Voici quelques composants clés que l'on retrouve couramment sur les pages de produits de Walmart :

Composant des pages de produits Walmart
  1. Titre du produit:Le nom du produit est généralement affiché de manière visible. Ce titre sert d'identifiant et est essentiel pour catégoriser les produits.
  2. Images du produit:Les images jouent un rôle crucial dans les achats en ligne. Walmart présente des images de produits sous différents angles pour aider les clients à visualiser l'article.
  3. Information sur les prix:Le prix du produit est un élément essentiel qui intéresse les acheteurs et les scrapers Web. Il fournit des informations sur le coût du produit et est essentiel pour le suivi et l'analyse des prix.
  4. Déscription:Une description détaillée du produit fournit des informations supplémentaires sur l'article. Ces informations peuvent être utiles aux acheteurs potentiels pour prendre des décisions éclairées.
  5. Avis et évaluations des clients:Les commentaires des clients sous forme d'avis et de notes peuvent nous aider à évaluer la qualité du produit. L'extraction de ces avis sur le Web peut fournir des informations sur la satisfaction des clients.
  6. Informations sur le vendeur:Connaître le vendeur et sa localisation peut être utile pour l’analyse du marché et la compréhension de la source du produit.

Identifier les éléments de prix pour le scraping

Comme notre objectif principal est d'extraire les données de prix des pages de produits Walmart, nous devons identifier les éléments spécifiques liés aux prix. Voici les éléments clés que nous allons cibler pour l'extraction :

  1. Prix ​​du produit:Il s'agit du prix actuel du produit. Il est essentiel pour suivre et comparer les prix au fil du temps et pour les acheteurs soucieux de leur budget.
  2. Prix ​​réduit (le cas échéant):Si Walmart propose des remises ou des offres spéciales, nous nous efforcerons de réduire le prix réduit, en fournissant des informations sur les économies de coûts.
  3. Prix ​​à l'unité:Certains produits sont vendus dans différentes unités, telles que les livres, les onces ou les litres. L'extraction de l'unité de prix nous permet de comprendre comment le prix du produit est fixé.

Grâce à une compréhension claire de la structure du site Web de Walmart et des éléments que nous avons l'intention de récupérer, nous sommes bien préparés pour les prochaines étapes de notre parcours de récupération Web. Nous apprendrons à utiliser efficacement Crawlbase Crawling API pour collecter les données de prix dont nous avons besoin.

Introduction à Crawlbase Crawling API

Maintenant que nous avons une solide compréhension de la structure du site Web de Walmart, nous devons introduire un outil puissant pour rendre notre parcours de scraping Web plus fluide : le Base d'exploration Crawling APIDans cette section, nous aborderons les bases de l'API, ses avantages et comment exploiter ses capacités à l'aide de la bibliothèque Python Crawlbase.

Présentation de Crawlbase Crawling API

La Crawlbase Crawling API est un outil de scraping Web polyvalent conçu pour gérer facilement des scénarios de scraping Web complexes. Il s'agit d'une innovation majeure pour les scrapers Web qui traitent de sites Web dynamiques comme Walmart, où les données sont chargées et modifiées à l'aide de JavaScript.

Cette API simplifie l'accès au contenu Web, le rendu JavaScript et le retour du contenu HTML, prêt à être analysé. Ses fonctionnalités, notamment la rotation des adresses IP, la distinguent, ce qui permet d'éviter les blocages d'adresses IP et les problèmes CAPTCHA. En faisant tourner les adresses IP, l'API garantit que vos demandes de scraping Web apparaissent comme si elles provenaient de différents emplacements, ce qui rend plus difficile pour les sites Web de détecter et de bloquer les activités de scraping.

Avantages de l'utilisation de Crawlbase Crawling API

Pourquoi devriez-vous envisager d'utiliser Crawlbase Crawling API pour le scraping Web ? Voici quelques-uns des principaux avantages qu'il offre :

  1. Rendu JavaScript:De nombreux sites Web modernes, dont Walmart, s'appuient fortement sur JavaScript pour le rendu du contenu. L'API Crawlbase peut gérer ces éléments dynamiques, vous garantissant ainsi d'obtenir une page Web entièrement chargée.
  2. Demandes simplifiées: L'API élimine les complexités de la gestion des requêtes HTTP, des cookies et des sessions. Vous pouvez vous concentrer sur l'élaboration de votre logique de scraping pendant que l'API gère les détails techniques.
  3. Structure de données:Les données que vous recevez de l'API sont généralement bien structurées, ce qui facilite l'analyse et l'extraction des informations dont vous avez besoin.
  4. Évolutivité: La base de crawl Crawling API prend en charge le scraping Web évolutif en gérant plusieurs requêtes simultanément. Cela est particulièrement avantageux lors du traitement de gros volumes de données.
  5. Fiabilité:L'API est conçue pour être fiable et fournir des résultats cohérents, ce qui est crucial pour tout projet de scraping Web.

Comment utiliser la bibliothèque Python Crawlbase

La bibliothèque Python Crawlbase est un wrapper léger et sans dépendance pour les API Crawlbase. Cette bibliothèque rationalise divers aspects du scraping Web, ce qui en fait un excellent choix pour des projets tels que le scraping des prix Walmart.

Voici comment vous pouvez démarrer avec la bibliothèque Python Crawlbase :

Importer la bibliothèque:Pour utiliser Crawlbase Crawling API Depuis la bibliothèque Python, commencez par importer la classe indispensable CrawlingAPI. Cette étape fondamentale ouvre la porte à l'accès à une gamme d'API Crawlbase. Voici un aperçu de la façon dont vous pouvez importer ces API :

1
de base d'exploration importer API d'exploration

Initialisation:Une fois que vous avez votre jeton d'API Crawlbase en main, l'étape cruciale suivante consiste à initialiser la classe CrawlingAPI. Cette connexion permet à votre code d'exploiter les vastes capacités de Crawlbase :

1
api = API d'exploration({ 'jeton': 'VOTRE_JETON_CRAWLBASE' })

Envoi de requêtes : avec la classe CrawlingAPI prête et votre jeton d'API Crawlbase défini en toute sécurité, vous êtes prêt à envoyer des requêtes à vos sites Web cibles. Voici un exemple pratique de création d'une requête GET adaptée au scraping des pages de produits Walmart :

1
2
3
réponse = api.get('https://www.walmart.com/product-page-url')
if réponse['code_d'état']== 200:
  impression(réponse['corps'])

Avec la Crawlbase Crawling API et la bibliothèque Python Crawlbase à votre disposition, vous avez les outils dont vous avez besoin pour vous lancer efficacement dans votre aventure de scraping Web. Dans les sections suivantes, nous allons plonger dans les spécificités du scraping Web des prix Walmart, de la création de requêtes HTTP à l'extraction des données de prix et à leur stockage pour analyse.

Prix ​​du Web Scraping chez Walmart

Nous sommes sur le point de plonger au cœur de notre parcours de scraping Web : l'extraction des prix des produits Walmart. Cette section couvrira le processus étape par étape de scraping Web des pages de produits Walmart. Cela comprend la création de requêtes HTTP, l'analyse HTML, l'extraction d'informations sur les prix et la gestion de plusieurs pages de produits avec pagination.

Lancer des requêtes HTTP vers les pages de produits Walmart

La première étape pour récupérer les prix de Walmart consiste à lancer des requêtes HTTP vers les pages de produits à partir desquelles vous souhaitez collecter des données. Nous utiliserons Crawlbase Crawling API pour rendre ce processus plus efficace et gérer le chargement de contenu dynamique sur le site Web de Walmart.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
de base d'exploration importer API d'exploration

# Initialisez la classe CrawlingAPI avec votre jeton API Crawlbase
api = API d'exploration({ 'jeton': 'VOTRE_CRAWLBASE_JS_TOKEN' })

# options pour Crawling API
choix = {
 'page_wait': 2000,
 'ajax_wait': 'vrai'
}

# Construire l'URL de la requête
URL de recherche = " https://www.walmart.com/ip/Restored-Apple-iPhone-13-Carrier-Unlocked-128-GB-Red-Refurbished/462799546 "

# Effectuez une requête GET sur la page produit de Walmart
réponse = api.get(search_url, options)

# Vérifiez si la demande a abouti (code d'état 200)
if réponse['code_d'état']== 200:
    # Contenu HTML extrait après décodage des données d'octets
    page_html = réponse['corps'].décoder('latin1')
    impression(page_html)
d'autre:
    impression(« Échec de la récupération de la page. Code d'état : », réponse['code_d'état'])

En envoyant une requête HTTP à une page de produit Walmart, nous récupérons le contenu HTML brut de cette page spécifique. Ce code HTML sera la source des données de prix que nous recherchons. L'API Crawlbase garantit que la page est entièrement chargée, y compris tous les éléments rendus par JavaScript, ce qui est essentiel pour extraire le contenu dynamique.

Aperçu de la sortie :

Aperçu de la sortie HTML

Inspection du code HTML pour déterminer l'emplacement des données de prix

Nous devons identifier les éléments HTML qui contiennent les informations que nous recherchons pour extraire des données des pages Web. C'est là que les outils de développement Web et de navigateur viennent à notre secours. Décrivons comment vous pouvez inspecter la structure HTML et dénicher ces précieux sélecteurs CSS :

Extraction des données de prix Walmart
  1. Ouvrir la page Web:Accédez au site Web de Walmart et accédez à une page de recherche qui suscite votre intérêt.
  2. Faites un clic droit et inspectez: Utilisez votre clic droit sur un élément que vous souhaitez extraire (par exemple, une fiche produit) et sélectionnez « Inspecter » ou « Inspecter l'élément » dans le menu contextuel. Cette incantation mystique fera apparaître les outils de développement du navigateur.
  3. Localiser la source HTML:Dans les limites des outils de développement, le code source HTML de la page Web dévoilera ses secrets. Passez votre curseur sur divers éléments du panneau HTML et voyez les parties correspondantes de la page Web s'illuminer comme par magie.
  4. Identifier les sélecteurs CSS:Pour libérer les données d'un élément particulier, faites un clic droit dessus dans les outils de développement et choisissez gracieusement « Copier » > « Copier le sélecteur ». Cette manœuvre élégante transportera le sélecteur CSS de cet élément dans votre presse-papiers, prêt à être utilisé dans vos incantations de scraping Web.

Maintenant que nous avons examiné de près la manière dont le site Web de Walmart est construit et appris à trouver les pièces nécessaires, il est temps de mettre nos connaissances en pratique. Dans les prochaines étapes, nous commencerons à coder et à utiliser Python, le Crawlbase Crawling API, et Beautiful Soup pour extraire des informations des pages de recherche de Walmart.

Extraction des informations sur les prix à partir du code HTML

Une fois les éléments de prix identifiés, nous pouvons maintenant écrire du code Python pour extraire les informations de prix du contenu HTML. Beautiful Soup est un outil précieux, qui nous permet de naviguer dans la structure HTML et de récupérer les données dont nous avons besoin. Pour l'exemple, nous allons extraire le titre du produit, le prix, le prix réduit (le cas échéant) et les détails de la notation. Étendons notre script précédent et récupérons ces informations à partir du code HTML.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
# Importer les bibliothèques nécessaires
importer json
de bs4 importer BeautifulSoup
de base d'exploration importer API d'exploration

# Initialisez la classe CrawlingAPI avec votre jeton API Crawlbase
api = API d'exploration({ 'jeton': 'VOTRE_CRAWLBASE_JS_TOKEN' })

# options pour Crawling API
choix = {
 'page_wait': 3000,
 'ajax_wait': 'vrai'
}

# Construire l'URL de la requête
URL de recherche = " https://www.walmart.com/ip/Restored-Apple-iPhone-13-Carrier-Unlocked-128-GB-Red-Refurbished/462799546 "

Essai:
    # Effectuez une requête GET sur la page de recherche de Walmart
    réponse = api.get(search_url, options)

    # Vérifiez si la demande a abouti (code d'état 200)
    if réponse['code_d'état']== 200:
        # Contenu HTML extrait après décodage des données d'octets
        search_page_html = réponse['corps'].décoder('latin1')

        # Analyser le contenu HTML à l'aide de Beautiful Soup
        soupe = BeautifulSoup(search_page_html, 'html.parser')

        produit = {}

        # Extraire le nom du produit
        titleElement = soup.select_one('h1#titre-principal')
        produit['Titre'] = titleElement.texte.strip() if titreElément d'autre ''

        # Extraire le prix du produit
        priceElement = soupe.select_one('span[data-testid="prix-wrap"] span[itemprop="prix"]')
        produit['prix'] = priceElement.texte.strip() if Élément de prix d'autre ''

        # Extraire le prix du produit à prix réduit
        discountedPriceElement = soupe.select_one('div[data-testid="dollar- saving"] span:dernier enfant')
        produit['rabais'] = discountedPriceElement.text.strip() if Élément de prix réduit d'autre ''

        # Extraire la note du produit
        ratingElement = soupe.select_one('div[data-testid="avis-et-évaluations"] span.rating-number')
        produit['notation'] = ratingElement.texte.strip() if Élément de notation d'autre ''

        # Imprimer les détails du produit
        impression(json.dumps(produit, indent=2))

sauf Exception as e:
    impression(f"Une erreur s'est produite : {e}")

Ce script Python utilise la bibliothèque « Beautiful Soup » pour l'analyse HTML et le module « CrawlingAPI » de la bibliothèque « Crawlbase » pour l'interaction Web. Après avoir initialisé l'API avec un jeton et configuré les options, il construit une URL pour une page de produit spécifique, effectue une requête GET et analyse le contenu HTML. Le script extrait ensuite les informations sur le produit, telles que le nom du produit, le prix, la remise (si disponible) et la note, et présente ces détails dans un format JSON structuré. La gestion des erreurs est incluse pour traiter les exceptions qui pourraient survenir pendant le processus de scraping. Cet exemple de code illustre comment automatiser la collecte de données à partir de pages Web et les formater pour une analyse ou un stockage ultérieur.

Exemple de sortie :

1
2
3
4
5
6
{
  « Titre »: "Apple iPhone 13 restauré - Débloqué par l'opérateur - 128 Go Rouge (Remis à neuf)",
  "prix": «$ 449.00»,
  "rabais": «$ 200.00»,
  "notation": "(4.4)"
}

Extraction de plusieurs pages de produits à partir des résultats de recherche

Nous devons souvent extraire plusieurs pages de produits des résultats de recherche pour créer un ensemble de données complet sur les prix de Walmart. Cela implique de gérer la pagination des résultats de recherche et d'effectuer une itération sur différentes pages pour accéder à des listes de produits supplémentaires. Si vous vous demandez comment extraire les URL de ces pages de produits à partir des résultats de recherche, nous vous recommandons de lire Comment récupérer les pages de recherche de Walmart, qui couvre ce sujet. Une fois que vous avez la liste des URL des pages de produits, vous pouvez revenir ici pour apprendre comment extraire les données de prix de ces pages.

Veuillez consulter notre article de blog dédié pour obtenir des informations détaillées sur l'extraction des URL des pages de produits à partir des résultats de recherche Walmart. Après avoir collecté les URL, vous pouvez utiliser les instructions de ce blog pour procéder à l'extraction des données de prix. Grâce à ces connaissances combinées, vous serez bien équipé pour extraire efficacement les prix de Walmart.

Dans la section suivante, nous aborderons le stockage efficace des données de prix extraites. Continuons sur notre lancée en explorant ce passionnant voyage dans le web scraping.

Stockage des données de prix récupérées

Après avoir extrait avec succès les données des pages de produits de Walmart, l'étape cruciale suivante consiste à stocker ces précieuses informations pour une analyse et une référence ultérieures. Dans cette section, nous allons explorer deux méthodes courantes de stockage des données : l'enregistrement des données extraites dans un fichier CSV et leur stockage dans une base de données SQLite. Ces méthodes vous permettent d'organiser et de gérer efficacement vos données extraites.

Sauvegarde des données de prix récupérées dans un fichier CSV

Le format CSV (Comma-Separated Values) est un format largement utilisé pour stocker des données tabulaires. Il s'agit d'un moyen simple et lisible par l'homme de stocker des données structurées, ce qui en fait un excellent choix pour enregistrer vos données de produits Walmart récupérées.

Nous allons étendre notre script de scraping Web précédent pour inclure une étape permettant d'enregistrer les données extraites dans un fichier CSV à l'aide de la bibliothèque Python populaire, pandas. Voici une version mise à jour du script :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
importer pandas as pd
de bs4 importer BeautifulSoup
de base d'exploration importer API d'exploration

# Initialisez la classe CrawlingAPI avec votre jeton API Crawlbase
api = API d'exploration({'jeton': 'VOTRE_CRAWLBASE_JS_TOKEN'})

def gratter_page(L'URL de la page):
    # ... (Code précédent pour récupérer une page)

def principal†
    page_url = " https://www.walmart.com/ip/Restored-Apple-iPhone-13-Carrier-Unlocked-128-GB-Red-Refurbished/462799546 "

    détails_du_produit = scrape_page(url_de_la_page)

    # Enregistrer les données récupérées sous forme de fichier CSV
    df = pd.DataFrame(détails_du_produit)
    df.to_csv('données_produits_walmart.csv', indice=Faux)

if __nom__ == "__principale__":
    principale()

Dans ce script mis à jour, nous avons introduit pandas, une puissante bibliothèque de manipulation et d'analyse de données. Après avoir récupéré et accumulé les détails du produit, nous créons un DataFrame pandas à partir de ces données. Ensuite, nous utilisons la méthode to_csv pour enregistrer le DataFrame dans un fichier CSV nommé « walmart_product_data.csv » dans le répertoire actuel. Le paramètre index=False garantit que nous n'enregistrons pas l'index du DataFrame en tant que colonne distincte dans le fichier CSV.

Vous pouvez facilement travailler avec et analyser vos données récupérées en utilisant pandas. Ce fichier CSV peut être ouvert dans divers logiciels de tableur ou importé dans d'autres outils d'analyse de données pour une exploration et une visualisation plus approfondies.

Stockage des données dans une base de données SQLite pour une analyse plus approfondie

Si vous préférez une approche plus structurée et plus conviviale pour le stockage des données, SQLite est un moteur de base de données léger et sans serveur qui peut être un excellent choix. Vous pouvez créer une table de base de données pour stocker vos données extraites, ce qui permet une récupération et une manipulation efficaces des données. Voici comment vous pouvez modifier le script pour stocker des données dans une base de données SQLite :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
importer json
importer sqlite3
de bs4 importer BeautifulSoup
de base d'exploration importer API d'exploration

# Initialisez la classe CrawlingAPI avec votre jeton API Crawlbase
api = API d'exploration({'jeton': 'VOTRE_CRAWLBASE_JS_TOKEN'})

def créer_base de données†
    conn = sqlite3.connect('walmart_products.db')
    curseur = conn.curseur()
    curseur.execute('''CRÉER UNE TABLE SI IL N'EXISTE PAS de produits (
                      id INTEGER CLÉ PRIMAIRE AUTO-INCRÉMENTATION,
                      titre TEXTE,
                      prix TEXTE,
                      texte de réduction,
                      note TEXTE
                    )''')
    conn.commit()
    conn.close()

def enregistrer_dans_la_base_de_données(produits):
    conn = sqlite3.connect('walmart_products.db')
    curseur = conn.curseur()

    # Insérer des données dans la table des produits
    curseur.execute('' '
        INSÉRER DANS les produits (titre, prix, remise, note)
        VALEURS (?, ?, ?, ?, ?)
    '' ', (produit['Titre'], produit['prix'], produit['rabais'], produit['notation']))

    conn.commit()
    conn.close()

def gratter_page(L'URL de la page):
    # ... (inchangé)

def principal†
    page_url = " https://www.walmart.com/ip/Restored-Apple-iPhone-13-Carrier-Unlocked-128-GB-Red-Refurbished/462799546 "

    détails_du_produit = scrape_page(url_de_la_page)

    # Enregistrer les données récupérées sous forme de fichier CSV
    df = pd.DataFrame(détails_du_produit)
    df.to_csv('données_produits_walmart.csv', indice=Faux)

    # Insérer les données récupérées dans la base de données SQLite
    save_to_database(détails_du_produit)

if __nom__ == "__principale__":
    principale()

Dans ce code mis à jour, nous avons ajouté des fonctions pour créer la base de données et la table SQLite ( create_database ) et enregistrer les données récupérées dans la base de données ( save_to_database ). La fonction create_database vérifie si la base de données et la table existent et les crée si ce n'est pas le cas. La fonction save_to_database insère les données récupérées dans la table « products ».

En exécutant ce code, vous stockerez vos données de produits Walmart récupérées dans une base de données SQLite nommée « walmart_products.db ». Vous pouvez ensuite récupérer et manipuler ces données à l'aide de requêtes SQL ou y accéder par programmation dans vos projets Python.

Mot de la fin

Ce guide vous fournit les connaissances et les outils nécessaires pour extraire les prix de Walmart en utilisant Python de manière transparente et Crawlbase Crawling API. Que vous vous lanciez dans le scraping Web pour la première fois ou que vous élargissiez votre expertise, les principes décrits ici fournissent une base solide. Si vous êtes impatient d'explorer le scraping sur d'autres plateformes de commerce électronique telles que Amazon, eBay, ou AliExpress, nos guides complémentaires attendent votre découverte.

Le scraping Web peut poser des problèmes, et nous comprenons l'importance d'une communauté solidaire. Si vous avez besoin de conseils supplémentaires ou rencontrez des obstacles, n'hésitez pas à nous contacter. Équipe de soutien de Crawlbase est là pour vous aider à surmonter tous les défis et à assurer un parcours de scraping Web réussi.

FAQ - Foire Aux Questions

Q. Quels sont les avantages de l'utilisation de Crawlbase Crawling API?

La Crawlbase Crawling API est un outil puissant qui simplifie le scraping Web, en particulier pour les sites Web dynamiques comme Walmart. Il offre des avantages tels que la rotation IP, le rendu JavaScript et la gestion des défis courants du scraping Web comme les CAPTCHA. Avec Crawlbase Crawling API, vous pouvez accéder efficacement au contenu Web, récupérer des données structurées et rationaliser le processus de scraping Web. C'est un choix fiable pour les projets de scraping Web qui nécessitent l'extraction de données à partir de sites Web complexes et dynamiques.

Q. Quels sont les défis courants dans le Web Scraping Walmart Prices ?

Comme toute activité de scraping, le scraping Web des prix Walmart comporte son lot de défis. L'un des obstacles courants est la gestion du contenu dynamique et du rendu JavaScript sur le site Web de Walmart. Les prix et les détails des produits se chargent souvent de manière dynamique, ce qui nécessite une attention particulière à la structure de la page. De plus, Walmart peut mettre en œuvre des mesures anti-scraping, nécessitant des stratégies telles que la rotation des adresses IP et l'utilisation d'en-têtes pour imiter le comportement de navigation humain. Un autre défi est la gestion de la pagination, en particulier lorsqu'il s'agit de listes de produits volumineuses. La navigation efficace sur plusieurs pages et l'extraction des données de prix souhaitées nécessitent une attention méticuleuse à la structure HTML et aux modèles de pagination. Rester informé des changements potentiels dans la mise en page du site Web de Walmart est essentiel pour maintenir un processus de scraping fiable au fil du temps.

Q. Puis-je récupérer d'autres données de Walmart à l'aide de Crawlbase Crawling API?

Oui, la Crawlbase Crawling API est polyvalent et peut être utilisé pour extraire différents types de données de Walmart, sans se limiter aux prix. Vous pouvez personnaliser votre projet de scraping Web pour extraire des descriptions de produits, des notes, des avis, des images et d'autres informations pertinentes. La capacité de l'API à gérer des sites Web dynamiques vous garantit l'accès aux données dont vous avez besoin pour votre cas d'utilisation spécifique.

Q. Existe-t-il des alternatives au stockage des données dans CSV ou SQLite ?

Bien que le stockage des données aux formats CSV ou SQLite soit courant et efficace, d'autres options de stockage sont basées sur les exigences de votre projet. Vous pouvez explorer d'autres systèmes de base de données comme MySQL ou PostgreSQL pour des capacités de stockage et de récupération de données plus étendues. Pour un stockage de données évolutif et sécurisé, vous pouvez envisager des solutions de stockage basées sur le cloud telles qu'Amazon S3, Google Cloud Storage ou Microsoft Azure. Le choix de la méthode de stockage des données dépend de vos besoins et préférences spécifiques.