Pour suivre l'évolution des prix des produits sur chaque boutique en ligne ou site e-commerce, vous devrez consacrer beaucoup de temps à surveiller chaque page, surtout lorsque les prix changent sans préavis. Le faire manuellement peut être épuisant et constitue un obstacle majeur pour rester à la pointe des tendances du marché tout en maintenant la compétitivité de vos produits.

À notre époque, il est nécessaire d’avoir une certaine automatisation pour gérer une tâche de grande envergure et complexe telle que renseignements sur les prix. Ainsi, dans ce blog, nous vous aiderons à automatiser le processus et vous guiderons sur la façon de créer un grattoir de prix avec Python et Crawlbase qui peut rendre cette tâche plus rapide, plus facile et plus fiable.

Table des Matières

  1. Avantages du Web Scraping pour l'intelligence des prix

  2. En quoi Crawlbase Aide à l'intelligence des prix

  3. Guide étape par étape : créer un outil de recherche de prix

  4. Gérer les défis liés à la collecte de prix

  5. Foire aux questions

Avantages du Web Scraping pour l'intelligence des prix

Raclage Web Le web scraping est devenu un outil essentiel pour la collecte de données, notamment pour le suivi des informations produits sur les différents sites e-commerce. La plupart des analystes de marché et des entreprises l'utilisent pour collecter des données tarifaires auprès de différentes sources et prendre des décisions éclairées. De nombreuses entreprises s'appuient désormais sur le web scraping pour façonner et ajuster leurs stratégies tarifaires.

Examinons de plus près les principaux avantages :

Surveillance des données en temps réel

L'extraction de données en temps réel est une utilisation puissante du web scraping. Avec une configuration adéquate, vous pouvez utiliser un scraper qui extrait automatiquement les informations les plus récentes de divers sites e-commerce comme Amazon ou eBay. Il peut cibler des pages produits spécifiques pour surveiller des détails tels que le prix et la disponibilité. Ce processus peut être entièrement automatisé et exécuté toutes les minutes, permettant ainsi de suivre les modifications au fur et à mesure, sans avoir à visiter chaque site manuellement. Le scraper gère tout en arrière-plan.

Les données extraites à l'aide d'un web scraper peuvent être organisées de manière à aider les analystes et les décideurs à mieux comprendre les fluctuations de prix et à dégager des informations commerciales précieuses. Votre équipe bénéficie d'une vue d'ensemble du marché actuel, ce qui vous permet d'identifier les tendances émergentes.

Optimiser votre stratégie de prix

Dans certains cas, il vous faudra analyser les données à la loupe. Les scrapers web peuvent être paramétrés pour cibler des données spécifiques et atteindre des objectifs précis. Par exemple, vous pouvez configurer votre scraper pour qu'il surveille automatiquement les pages Amazon, eBay ou Walmart et collecte les informations tarifaires de votre catalogue produits à chaque minute. Vous pouvez ensuite organiser les données pour identifier les concurrents proposant les meilleures offres à tout moment. Ce niveau de détail vous permet d'être plus précis dans vos décisions marketing.

En quoi Crawlbase Aide à l'intelligence des prix

Il est clair que l'analyse des prix bénéficie grandement du web scraping, mais créer un web scraper de A à Z n'est pas chose aisée. De nombreuses entreprises peinent à investir dans un web scraper fiable.

Il ne s'agit pas seulement de recruter des experts pour développer l'outil à votre place. Les développeurs doivent également trouver l'outil adapté pour gérer au mieux les problèmes courants de scraping, et c'est là que ça se passe. Crawlbase aide.

Construction Crawling API

CrawlbaseLe produit principal de, le Crawling API Simplifie le scraping web. Il s'agit d'une API conçue pour explorer une page web en une seule requête. Il vous suffit de fournir votre URL cible et de l'envoyer via le point de terminaison de l'API. L'API gère la plupart des obstacles au scraping.

Principaux avantages du Price Scraping avec Crawlbase

  • Accès aux données en temps réel - Crawlbase Il ne stocke ni n'archive aucune donnée. Il est conçu pour explorer les données actuellement disponibles sur une page web cible. Cela garantit que vous obtenez uniquement des informations récentes et précises lors de vos requêtes vers l'API.
  • Contourner les obstacles courants des grattoirs - Crawlbase Résout les problèmes courants de web scraping, tels que la détection des robots, les CAPTCHA et les limites de débit. L'API utilise des milliers de proxys maintenus en permanence et optimisés par l'IA pour garantir un taux de réussite élevé dans presque 100 % des cas. Elle gère également le rendu JavaScript, vous évitant ainsi de configurer manuellement des navigateurs headless ou des agents utilisateurs dans votre code.
  • Intégration facile et évolutive – Vous pouvez appeler l'API en une seule ligne de code. Envoyer une requête API est aussi simple que cela. Vous pouvez insérer cet appel dans n'importe quel langage de programmation prenant en charge les requêtes HTTP ou HTTPS. De plus, Crawlbase propose des bibliothèques et des SDK auxquels les développeurs peuvent accéder gratuitement pour simplifier l'intégration lors de la mise à l'échelle.
  • Une solution rentable - Depuis Crawlbase Proposer des solutions pour les aspects les plus complexes du web scraping peut avoir un impact important sur le coût global de votre projet. Payer le minimum pour la solution est souvent plus judicieux que de dépenser la majeure partie de son budget pour résoudre soi-même des problèmes complexes.
Une image de Crawlbase dans l'action de grattage des prix

Guide étape par étape : comment créer un outil de recherche de prix

Dans cette section, nous vous expliquerons comment créer un scraper pour certaines des plus grandes boutiques en ligne en utilisant le Crawling API et vous montrer à quel point il est facile à configurer tout en mettant en évidence ses fonctionnalités clés.

Sélection des sites Web cibles (Amazon et eBay)

Avant de commencer à coder, il est important de planifier : déterminer les sites web à cibler, les données à extraire et l'utilisation prévue de ces données. De nombreux développeurs commencent naturellement par des sites populaires comme Amazon et eBay, car ils offrent des ensembles de données riches et diversifiés, précieux pour des applications comme la veille tarifaire.

Pour cet exercice de codage, nous nous concentrerons sur les URL SERP suivantes comme cibles :
Amazon
eBay

Configurez votre espace de travail

À ce stade, vous devrez choisir votre langage de programmation préféré. Pour cet exemple, nous utiliserons Python, car il est largement considéré comme l'un des langages les plus faciles à prendre en main. Cela dit, vous êtes libre d'utiliser n'importe quel autre langage ; suivez le guide et appliquez la même logique que celle présentée ici.

Configurez votre environnement de codage

  1. Installez Python 3 sur votre ordinateur.
  2. Créez un répertoire racine dans notre système de fichiers.
1
2
mkdir prix-intelligence
cd prix-intelligence
  1. Sous le répertoire racine, créez un fichier nommé requirements.txt, et ajoutez les entrées suivantes :
1
2
3
4
demandes
tabuler
analyseur de prix
pandas

Ensuite, lancez:

1
python -m pip install -r requirements.txt

Envoi de requêtes à l'aide de Crawlbase

Commençons par créer le scraper pour la page de résultats du moteur de recherche Amazon. À la racine de votre projet, créez un fichier nommé amazon_serp_scraper.py, et suivez-nous.

Ajoutez des instructions d’importation à votre script.

1
2
3
importer demandes
importer urllib.parse
à partir de demandes.exceptions importer DemandeException

La fonction Add recherche des produits sur Amazon à l'aide d'une requête donnée, avec des paramètres facultatifs pour le code du pays et le domaine de premier niveau (tel que .com ou .co.uk), et renvoie une liste de dictionnaires de produits.

1
def obtenir_des_produits_d'Amazon(mettre en doute: str, pays: str = Aucun, domaine de premier niveau : str = 'com') -> liste[dicter]:

Configurez votre jeton API et Crawlbase point de terminaison pour envoyer la demande.

1
2
API_TOKEN = " "
API_ENDPOINT = "https://api.crawlbase.com/"

Construisez les paramètres de la requête GET en codant la requête de recherche pour l'URL Amazon et en spécifiant le Grattoir SERP Amazon avec un paramètre de pays facultatif.

1
2
3
4
5
6
paramètres = {
    "jeton": API_TOKEN,
    "url": f"https://www.amazon.{domaine de premier niveau}/s?k={urllib.parse.quote_plus(query)}",
    "grattoir": "amazon-serp",
    "pays": pays
}

Envoyez la demande à Crawling API, puis analyser et renvoyer les données du produit.

1
2
3
4
5
réponse = requêtes.get(API_ENDPOINT, params=params)
réponse.raise_for_status()

résultat = response.json()
retourner résultat['corps'][« produits »]

Pour exécuter le programme, insérez l'extrait de code suivant à la fin du script :

1
2
3
4
5
6
7
if __nom__ == "__principale__":

    importer json

    produits = obtenir_produits_d'amazon(« Apple iPhone 15 Pro Max 256 Go », pays="NOUS", domaine_de_niveau_supérieur=« co.uk »)
    pretty_json = json.dumps(produits, indent=2)
    impression(pretty_json)

Vous pouvez modifier les valeurs de l'appel de fonction selon vos besoins. Par exemple, remplacez « Apple iPhone 15 Pro Max 256 Go » avec tout autre nom de produit, changer "NOUS" vers un autre code de pays ou mettre à jour « co.uk » vers un autre domaine Amazon tel que « com » or « de ».

Exemple de code complet :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
importer demandes
importer urllib.parse
à partir de demandes.exceptions importer DemandeException

def obtenir_des_produits_d'Amazon(mettre en doute: str, pays: str = Aucun, domaine de premier niveau : str = 'com') -> liste[dicter]:
    API_TOKEN = " "
    API_ENDPOINT = "https://api.crawlbase.com/"

    paramètres = {
        "jeton": API_TOKEN,
        "url": f"https://www.amazon.{domaine de premier niveau}/s?k={urllib.parse.quote_plus(query)}",
        "grattoir": "amazon-serp",
        "pays": pays
    }

    réponse = requêtes.get(API_ENDPOINT, params=params)
    réponse.raise_for_status()

    résultat = response.json()

    retourner résultat['corps'][« produits »]

if __nom__ == "__principale__":

    importer json

    produits = obtenir_produits_d'amazon(« Apple iPhone 15 Pro Max 256 Go », pays="NOUS", domaine_de_niveau_supérieur=« co.uk »)
    pretty_json = json.dumps(produits, indent=2)
    impression(pretty_json)

Exécutez le script depuis le terminal à l’aide de la commande suivante :

1
python amazon_serp_scraper.py

Une fois l'opération réussie, vous verrez la sortie de données brutes suivante :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
[
  {
    "prénom": Apple iPhone 16 Pro Max 256 Go : Téléphone portable 5G avec Apple Intelligence – Desert Titanium + Coque en silicone avec MagSafe – Noir,
    "prix": "\u00a31,138.00",
    "Prix brut": 1138.0,
    "devise": "\u00a3",
    "offre": "",
    "Avis client": "4.4 étoiles sur 5",
    "nombre d'avis clients": "367",
    "message d'expédition": "",
    "asin": « B0DGTJ6Y1S »,
    "image": « https://m.media-amazon.com/images/I/61EpQCNARNL._AC_UY218_.jpg »,
    "url": "https://www.amazon.co.uk/Apple-iPhone-Pro-Max-256GB/dp/B0DGTJ6Y1S/ref=sr_1_1?dib=eyJ2IjoiMSJ9.ZChvrJybm7TlnZ2-2tQPcAJhiEM1rKrU7CkKwkwiDWAnDvRZyGd490ktAc-ukHTMrhCNjGZN-mUv_pB9jpM_b-kakh857EvjHVDsbaPlnqdaWdgP8h8JlYlqZZnnW7Y8aaJ_8IdO3jTMYnwEljkT641W-0jpmOwTktsR4YGToL3KgkE6J14jT_5xU3EZNFkl_L1IYUL72a1mwtfhDapB17WcNOKS6lxZeGSha2Sw1BA.ZYtrbxfYI-d4vIcsxiU9hG5ahBmcc5rtSNtz9VB-nc0&dib_tag=se&keywords=Apple+iPhone+15+Pro+Max+256GB&qid=1748790249&sr=8-1",
    "estPrime": non,
    "Annonce sponsorisée": non,
    "couponInfo": "",
    "badgesInfo": [],
    "boughtInfo": ""
  },
  // Remarque : certains résultats ont été omis par souci de concision.
  {
    "prénom": Apple iPhone 11 Pro Max, 256 Go, vert nuit (renouvelé),
    "prix": "\u00a3264.00",
    "Prix brut": 264.0,
    "devise": "\u00a3",
    "offre": "",
    "Avis client": "4.1 étoiles sur 5",
    "nombre d'avis clients": "258",
    "message d'expédition": "",
    "asin": « B082BGTHP6 »,
    "image": « https://m.media-amazon.com/images/I/71g5LVVdbaL._AC_UY218_.jpg »,
    "url": "https://www.amazon.co.uk/Apple-iPhone-256GB-Midnight-Renewed/dp/B082BGTHP6/ref=sr_1_16?dib=eyJ2IjoiMSJ9.ZChvrJybm7TlnZ2-2tQPcAJhiEM1rKrU7CkKwkwiDWAnDvRZyGd490ktAc-ukHTMrhCNjGZN-mUv_pB9jpM_b-kakh857EvjHVDsbaPlnqdaWdgP8h8JlYlqZZnnW7Y8aaJ_8IdO3jTMYnwEljkT641W-0jpmOwTktsR4YGToL3KgkE6J14jT_5xU3EZNFkl_L1IYUL72a1mwtfhDapB17WcNOKS6lxZeGSha2Sw1BA.ZYtrbxfYI-d4vIcsxiU9hG5ahBmcc5rtSNtz9VB-nc0&dib_tag=se&keywords=Apple+iPhone+15+Pro+Max+256GB&qid=1748790249&sr=8-16",
    "estPrime": non,
    "Annonce sponsorisée": non,
    "couponInfo": "",
    "badgesInfo": [],
    "boughtInfo": ""
  }
]

Ensuite, créez un nouveau fichier nommé ebay_serp_scraper.py pour l'intégration eBay, et ajoutez le code suivant en utilisant la même approche que nous avons appliquée dans le scraper Amazon.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
importer demandes
importer urllib.parse
à partir de demandes.exceptions importer DemandeException

def obtenir_des_produits_sur_ebay(mettre en doute: str, pays: str = Aucun, domaine de premier niveau : str = 'com') -> liste[dicter]:
    API_TOKEN = " "
    API_ENDPOINT = "https://api.crawlbase.com/"

    paramètres = {
        "jeton": API_TOKEN,
        "url": f"https://www.ebay.{domaine de premier niveau}/sch/i.html?_nkw={urllib.parse.quote_plus(query)}",
        "grattoir": "ebay-serp",
        "pays": pays
    }

    réponse = requêtes.get(API_ENDPOINT, params=params)
    réponse.raise_for_status()

    résultat = response.json()

    retourner résultat['corps'][« produits »]

if __nom__ == "__principale__":

    importer json

    produits = obtenir_des_produits_sur_ebay(« Apple iPhone 15 Pro Max 256 Go », pays="NOUS", domaine_de_niveau_supérieur=« co.uk »)
    pretty_json = json.dumps(produits, indent=2)
    impression(pretty_json)

Une fois que vous avez exécuté le script en exécutant python ebay_serp_scraper.py dans votre terminal, vous devriez voir la sortie brute comme indiqué ci-dessous :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
[
  {
    « Titre »: Nouvelle annonce : iPhone 15 Pro Max – 256 Go, Bleu Titane,
    "sous-titres": ["D'occasion"],
    "prix": {
      "actuel": {
        "de": "\u00a3513.93",
        "à": "\u00a3513.93"
      },
      « TrendingPrice »: nul,
      "Prix précédent": ""
    },
    "Date de vente": "",
    "date de fin": "",
    "bidsCount": 0,
    "chaleur": "",
    « chaleur supplémentaire »: [],
    « Avis des clients »: {
      "revoir": "",
      "compter": 0,
      "lien": ""
    },
    "message d'expédition": « Frais de port non spécifiés »,
    "image": « https://i.ebayimg.com/images/g/cQkAAOSww3toOdUj/s-l500.webp »,
    "url": "https://www.ebay.co.uk/itm/146617243528?_skw=Apple+iPhone+15+Pro+Max+256GB&itmmeta=01JWP0SV257V8N99DP0GB2B2FK&hash=item2223119788:g:cQkAAOSww3toOdUj&itmprp=enc%3AAQAKAAAA4FkggFvd1GGDu0w3yXCmi1e4U9NgN8cbPDciCpZxd4y9M7arS1PIV503raP8NGkFrAGVGTcTJ93CtRBBBR%2BVdNPFCvqlvQFqv0p54lMQYaGfzNm2BDkKB8pOYhDKGV44h10dcGqP8Txe9bOa2%2BxUU4c03zlQjb5BBp5tZ6gfqvtXuJtaf6xW09Np944o3hzvtrVoM%2Fv9BcdTnUznCeLvNxWNQB9IG4%2BYEFyqvvcZce%2FbSdKA4hmdFerIaeAjWlWEpu7%2F1ZZV9ElPz9yibQZ6YcvruBvpIS3YYlvAypHn6yp8%7Ctkp%3ABk9SR5yx58DlZQ",
    "emplacement": "Royaume-Uni",
    "temps": {
      "temps restant": "6j 23h restantes",
      "timeEnd": "(Dim, 08:00)"
    },
    « date de publication »: "",
    « Meilleur vendeur »: non,
    "Annonce sponsorisée": non,
    "informations sur le vendeur": "davidawilliams1 (2,001 100) XNUMX%"
  },
  // Remarque : certains résultats ont été omis par souci de concision.
  {
    « Titre »: « Excellent état - Apple iPhone 15 Pro Max 256 Go Bleu Titane Batterie 98 % -1047- »,
    "sous-titres": ["D'occasion"],
    "prix": {
      "actuel": {
        "de": "\u00a3709.00",
        "à": "\u00a3709.00"
      },
      « TrendingPrice »: nul,
      "Prix précédent": ""
    },
    "Date de vente": "",
    "date de fin": "",
    "bidsCount": 0,
    "chaleur": « 20 observateurs »,
    « chaleur supplémentaire »: [],
    « Avis des clients »: {
      "revoir": "",
      "compter": 19,
      "lien": « https://www.ebay.co.uk/p/24062761146?iid=236096139018#UserReviews »
    },
    "message d'expédition": « Frais de port non spécifiés »,
    "image": « https://i.ebayimg.com/images/g/xIEAAeSw-NhoILdt/s-l140.webp »,
    "url": "https://www.ebay.co.uk/itm/236096139018?_skw=Apple+iPhone+15+Pro+Max+256GB&epid=24062761146&itmmeta=01JWP0SV29B7VZRTR5336M14WJ&hash=item36f86d2f0a:g:xIEAAeSw-NhoILdt&itmprp=enc%3AAQAKAAABAFkggFvd1GGDu0w3yXCmi1d4wiok8NH9ED6XupF4lEB05soO%2BX9YmeNcvnhAT2xl8%2BMR4mTSpPbdLrOdQTzvZweJCy9AbPRRp%2F3fEqBcyd%2B5KAg80QbLwBoSqH0%2BeYox7n1qscvQrlMrB71D%2FNgjlJfHccWLZ%2FGngbtsV5ccazqhwfxQdUKd0i%2BgDc6vXrrD%2F5SrwBFP5B7By2Vao286t0uJFGHFt28Hit8Si6T2mAYp5VdmEJN4YPv0xAlEwjmiPZ94WWHtYHGzBfZgdg9pRZHngDYjfm0iVEkcLab9c3G5xbhlMKPjRvjgC8DcoRUnHD%2FJSfIkRTLH0PzFBsjmyTw%3D%7Ctkp%3ABFBMpLHnwOVl",
    "emplacement": "Royaume-Uni",
    "temps": {
      "temps restant": "",
      "timeEnd": ""
    },
    « date de publication »: "",
    « Meilleur vendeur »: non,
    "Annonce sponsorisée": oui,
    "informations sur le vendeur": "2mselectronics (728) 100%"
  }
]

Extraction et structuration des données de prix

Bien que les résultats actuels de l'API soient clairs et fournissent des informations précieuses, ils ne sont pas tous pertinents pour notre objectif spécifique dans ce contexte. Dans cette section, nous allons montrer comment standardiser et analyser davantage les données afin d'extraire uniquement les points de données spécifiques dont vous avez besoin.

Créons un nouveau fichier nommé structured_consolidated_data.py et insérez le code suivant:

1
2
3
4
5
6
7
8
9
10
11
12
13
à partir de Amazon_Serp_Scraper importer obtenir_des_produits_d'Amazon
à partir de ebay_serp_scraper importer obtenir_des_produits_sur_ebay

def obtenir_des_données_structurées_consolidées(mettre en doute: str, pays: str = Aucun, domaine de premier niveau : str = 'com') -> liste[dicter]:
    produits = []

    amazon_data = get_products_from_amazon(query, country=pays, top_level_domain=domaine_de_premier_niveau)
    produits.extend([{"produit": article['nom'], "prix": article['prix'], "url": article['URL'], "la source": "Amazone"} pour Articles in [amazon_data])

    ebay_data = get_products_from_ebay(query, country=pays, top_level_domain=domaine_de_premier_niveau)
    produits.extend([{"produit": article['Titre'], "prix": article['prix']['courant']['à'].bande(), "url": article['URL'], "la source": "Ebay"} pour Articles in données eBay])

    retourner produits purs

Ce script extrait les données pertinentes sur les produits d'Amazon et d'eBay à partir du Crawlbase grattoirs de donnéesIl extrait et combine les détails clés tels que la source, le produit, le prix et l'URL de chaque résultat de recherche dans une liste unique et facile à utiliser.

Voici le code complet:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
à partir de Amazon_Serp_Scraper importer obtenir_des_produits_d'Amazon
à partir de ebay_serp_scraper importer obtenir_des_produits_sur_ebay

def obtenir_des_données_structurées_consolidées(mettre en doute: str, pays: str = Aucun, domaine de premier niveau : str = 'com') -> liste[dicter]:
    produits = []

    amazon_data = get_products_from_amazon(query, country=pays, top_level_domain=domaine_de_premier_niveau)
    produits.extend([{"produit": article['nom'], "prix": article['prix'], "url": article['URL'], "la source": "Amazone"} pour Articles in [amazon_data])

    ebay_data = get_products_from_ebay(query, country=pays, top_level_domain=domaine_de_premier_niveau)
    produits.extend([{"produit": article['Titre'], "prix": article['prix']['courant']['à'].bande(), "url": article['URL'], "la source": "Ebay"} pour Articles in données eBay])

    retourner produits purs

if __nom__ == "__principale__":

    importer json

    produits = get_structured_consolidated_data(« Apple iPhone 15 Pro Max 256 Go », pays="NOUS", domaine_de_niveau_supérieur=« co.uk »)

    pretty_json = json.dumps(produits, indent=2)
    impression(pretty_json)

Exécutez le script depuis le terminal à l’aide de la commande suivante :

1
python structuré_consolidated_data.py

Une fois que vous obtenez une réponse positive, la sortie consolidée sera affichée dans un format structuré, affichant le champ source au lieu des données brutes.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[
  {
    "produit": Apple iPhone 16 Pro Max 256 Go : Téléphone portable 5G avec Apple Intelligence – Desert Titanium + Coque en silicone avec MagSafe – Noir,
    "prix": "\u00a31,138.00",
    "url": "https://www.amazon.co.uk/Apple-iPhone-Pro-Max-256GB/dp/B0DGTJ6Y1S/ref=sr_1_1?dib=eyJ2IjoiMSJ9.ZChvrJybm7TlnZ2-2tQPcAJhiEM1rKrU7CkKwkwiDWAnDvRZyGd490ktAc-ukHTMrhCNjGZN-mUv_pB9jpM_b-kakh857EvjHVDsbaPlnqdaWdgP8h8JlYlqZZnnW7Y8aaJ_8IdO3jTMYnwEljkT641W-0jpmOwTktsR4YGToL3KgkE6J14jT_5xU3EZNFkl_L1IYUL72a1mwtfhDapB17WcNOKS6lxZeGSha2Sw1BA.ZYtrbxfYI-d4vIcsxiU9hG5ahBmcc5rtSNtz9VB-nc0&dib_tag=se&keywords=Apple+iPhone+15+Pro+Max+256GB&qid=1748791075&sr=8-1",
    "la source": "Amazone"
  },
  // Remarque : certains résultats ont été omis par souci de concision.
  {
    "produit": Apple iPhone 15 Pro Max (256 Go) - Blanc Titane - Bon état,
    "prix": "\u00a3679.99",
    "url": "https://www.ebay.co.uk/itm/205475768012?_skw=Apple+iPhone+15+Pro+Max+256GB&itmmeta=01JWP14FHS44GRVT9KYP8AFKEW&hash=item2fd74f66cc:g:QkcAAOSwLKRoHd86&itmprp=enc%3AAQAKAAABAFkggFvd1GGDu0w3yXCmi1enej%2BIHaZBwUjnCYNkoIrYanJLRykGLG546KgFE4C%2BH%2FGVT3ptDyAFH87uYJ2y6Ih4qylSr70KgmTvf7QzxWJJb8UIuLl9GWlI4h4QLVbnS26iLFU08zLSz8kbcbyI5kILO9IRzzTpKec0Cxb4G8ujEojvnrdM8G3oP5ud4QwSccYRK7L8PnDvS7qECHgMXmshCmZh749EOMqeDYRFSCqmPYQ6etMUr0y38Wag%2BT%2BLOIkx8XxR3fTC4FbbMPGGUDdNpG1jLJ3e%2F6X9tZuQuDp4lprfyjTKWD564verk%2FxhORgHzaHvDhmmEE121dibsOU%3D%7Ctkp%3ABFBMgvmRweVl",
    "la source": "Ebay"
  }
]

Exploitez les données récupérées

Maintenant que nous avons analysé les données pertinentes pour nos besoins, nous pouvons commencer à les appliquer à la veille tarifaire de base. Par exemple, nous pouvons écrire un script pour calculer et afficher le prix moyen de « Apple iPhone 15 Pro Max 256 Go » répertorié sur Amazon et comparez-le au prix moyen sur eBay.

Créez un nouveau fichier nommé market_average_price.py et insérez le code suivant:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
importer pandas as pd
à partir de analyseur de prix importer Tarif
à partir de données_structurées_consolidées importer obtenir_des_données_structurées_consolidées

produits = get_structured_consolidated_data(« Apple iPhone 15 Pro Max 256 Go », pays="NOUS", domaine_de_niveau_supérieur=« co.uk »)
produits_avec_prix = une fonction filtre(lambda produit : (produit["prix"] is pas Aucun ou produit["prix"].strip() != ''), produits)
produits_désinfectés = [produit | {"prix": flotter(Prix.fromstring(produit["prix"]).montant) } pour produits in [produits_avec_prix]

données = liste(produits_désinfectés)
df = pd.DataFrame(données)

# Vérifiez les types de données et examinez la colonne source
iphone_mask = df['produit'].str.contient(« iPhone », maisons=Faux, na=Faux)

# Calculer les prix moyens des modèles d'iPhone par source
iphone_df = df[df['produit'].str.contient(« iPhone », maisons=Faux, na=Faux)]

# Regrouper par source et calculer les prix moyens
avg_prices = iphone_df.groupby('la source')['prix'].agg(['signifier', 'compter']).Round(2)
avg_prices.columns = [« Prix moyen (£) », « Nombre de produits »]

impression("\n\nPrix moyens des iPhone par source :")
impression(prix_moyens)

# Calculer la différence
amazon_avg = avg_prices.loc['Amazone', « Prix moyen (£) »]
ebay_avg = avg_prices.loc['Ebay', « Prix moyen (£) »]
différence = amazon_avg - ebay_avg

impression("\n\nComparaison de prix :")
impression(f"Moyenne Amazon : £{amazon_avg}")
impression(f"Moyenne eBay : £{ebay_avg}")
impression(f"Différence : £{différence:.2f} (Amazon est {'plus haut' if différence > 0 d'autre 'inférieur'} que eBay)\n\n")

Pour exécuter le script, exécutez la commande suivante dans votre terminal :

1
python market_average_price.py

Une fois l'opération réussie, vous verrez un résultat similaire à ce qui suit :

Une sortie de console de terminal pour l'intelligence des prix

Explorez l'intégralité base de code sur GitHub.

Gérer les défis du Price Scraping en Python

Limites de taux et taux de réussite

Le défaut limite de taux pour Crawling API La limite maximale est de 20 requêtes par seconde pour les sites e-commerce. Si vous commencez à voir des erreurs 429, cela signifie que vous avez atteint cette limite. Cependant, cette limite peut être augmentée en fonction de votre volume de trafic et de vos besoins spécifiques. Vous devez contacter Crawlbase client réactif pour obtenir de l'assistance

Bien que les taux de réussite puissent parfois varier en raison de l'imprévisibilité de certains sites Web, CrawlbaseL'expérience de garantit un taux de réussite supérieur à 95 % dans la plupart des cas. De plus, les requêtes infructueuses ne vous sont pas facturées ; vous pouvez donc les ignorer et les renvoyer à l'API.

Gestion du contenu rendu par JavaScript

Certaines pages nécessitent JavaScript pour afficher les données dont vous avez besoin. Dans ce cas, vous pouvez passer du jeton de requête standard au jeton JavaScript. Cela permet à l'API d'utiliser son infrastructure de navigateur headless pour afficher correctement le contenu JavaScript.

Si vous remarquez des données manquantes dans la réponse de l'API, c'est une bonne indication qu'il est temps de passer au jeton JavaScript.

Assurer l'exactitude et la fraîcheur

Il est toujours judicieux de vérifier l'exactitude et la fraîcheur des données collectées par scraping. Vous pouvez vérifier manuellement les prix de temps à autre, mais Crawlbase garantit que les données que vous recevez de l'API reflètent les informations les plus récentes disponibles au moment de l'exploration.

Crawlbase ne modifie ni ne manipule aucune donnée récupérée à partir de votre site Web cible.

Allez-y et testez le Crawling API maintenant. Créez un compte pour recevoir vos 1,000 XNUMX requêtes gratuites. Ces requêtes permettent d'évaluer la réponse de l'API avant tout engagement, ce qui en fait une opportunité sans risque qui pourrait considérablement bénéficier à vos projets.

Foire Aux Questions (FAQ)

Q1 : Quel est le prix du web scraping ?

Le web scraping (extraction de prix) consiste à extraire automatiquement des informations tarifaires à partir de sources en ligne telles que des sites e-commerce, des fiches produits ou des plateformes concurrentes. Les entreprises utilisent des outils de web scraping comme Crawlbase pour extraire des données de prix en temps réel, ce qui les aide à surveiller les fluctuations, à suivre les remises et à mieux comprendre les tendances du marché. Cela permet des décisions de tarification plus judicieuses et une meilleure réactivité face à la concurrence.

Q2 : Qu'est-ce que le scraping de données de tarification ?

Le scraping de données tarifaires consiste à utiliser des scripts d'automatisation pour collecter des informations tarifaires structurées auprès de plateformes en ligne. Ces informations peuvent ensuite être analysées pour étayer les stratégies tarifaires, comparer les données à celles de la concurrence ou alimenter des tableaux de bord d'analyse pour une évaluation continue du marché.

Q3 : Quel est le rôle du web scraping dans la veille concurrentielle sur les prix et les études de marché ?

Le scraping des prix des concurrents permet aux entreprises de surveiller leurs prix, de comprendre leur positionnement sur le marché et d'identifier les tendances tarifaires selon les régions et les canaux. Ces données facilitent la planification stratégique, la prévision de la demande et l'optimisation des prix en temps réel.