Dans le monde en ligne, les informations sont vraiment précieuses, tout comme l'or, et extraire les listes de produits Etsy revient à exploiter cette valeur pour les artisans et les acheteurs. Cela aide les gens à prendre des décisions judicieuses et à garder une longueur d'avance. Si vous avez une boutique en ligne, faites des études de marché ou aimez travailler avec des chiffres, le web scraping est un excellent outil. C'est comme un outil super utile qui collecte des informations à partir de sites Web.

Etsy est une boutique en ligne qui ressemble à une galerie d'art. Elle regorge d'objets spéciaux faits main que les artisans et les acheteurs adorent. Mais obtenir des informations sur Etsy peut s'avérer difficile. C'est là que le web scraping peut s'avérer utile.

Ce guide traite de l'extraction de données web à partir des fiches produits Etsy. Nous extrairons les données Etsy à l'aide de Python. La particularité de ce guide réside dans le fait que nous aborderons Crawlbase Crawling API, un puissant outil de scraping Web qui fait du scraping d'Etsy un jeu d'enfant.

Nous allons vous guider étape par étape. De la configuration de votre espace de travail à la collecte des données souhaitées, nous avons tout couvert. Lorsque vous aurez terminé ce guide, vous aurez les compétences nécessaires pour récupérer les données d'Etsy comme un pro. Alors, commençons ce voyage passionnant !

Table des matières

  1. Premiers pas avec Etsy
  2. Configuration de votre environnement
  • Installation de Python et des bibliothèques requises
  • Choisir le bon IDE de développement
  • S'inscrire à Crawlbase Crawling API et obtenir les informations d'identification de l'API
  1. Comprendre la structure du site Web d'Etsy
  • Analyse de la structure de la page de recherche Etsy
  • Identifier les éléments que vous souhaitez récupérer
  1. Introduction à la Crawlbase Crawling API
  • Introduction à la Crawlbase Crawling API
  • Bénéfices du Crawlbase Crawling API
  • Crawlbase Bibliothèque Python
  1. Récupération des listes de produits Etsy
  • Crawling Page de recherche HTML Etsy
  • Inspection du code HTML pour obtenir des sélecteurs CSS
  • Récupération des données de listes de produits à partir de HTML
  • Gestion de la pagination pour plusieurs pages de résultats
  1. Stockage des données récupérées
  • Stockage des données récupérées dans un fichier CSV
  • Stockage des données récupérées dans une base de données SQLite
  1. Mot de la fin
  2. Foire aux questions (FAQ)

Premiers pas avec Etsy

Etsy est une place de marché en ligne reconnue mondialement où les artisans et les artisans présentent leurs créations uniques, allant des bijoux artisanaux aux meubles vintage et tout le reste.

Page de recherche Etsy

Les fiches produits d'Etsy contiennent de nombreuses informations pour les acheteurs et les vendeurs. En tant que vendeur, vous pouvez acquérir une meilleure compréhension du marché en analysant vos concurrents, en identifiant les tendances des produits et en fixant les prix de vos créations de manière compétitive. Pour les acheteurs, la possibilité de surveiller les prix, de découvrir des articles uniques et de prendre des décisions d'achat éclairées change la donne.

Cependant, l'extraction et l'analyse manuelles des données d'Etsy peuvent être une tâche longue et ardue. C'est là qu'intervient le scraping Web, qui simplifie le processus et vous fournit une multitude de données qui pourraient autrement rester cachées.

Dans ce blog, nous vous montrerons comment extraire les listes de produits Etsy à l'aide de Python et de Crawlbase Crawling APIGrâce à ces connaissances, vous serez en mesure d'automatiser la collecte de données et d'obtenir des informations précieuses à partir des pages Web dynamiques d'Etsy, ce qui vous fera gagner du temps et des efforts.

Le voyage commence par la compréhension de la structure du site Web d'Etsy et la configuration de votre environnement de développement.

Configuration de votre environnement

Avant de commencer à extraire les listes de produits Etsy, nous devons nous assurer que notre configuration est prête. Cela signifie que nous devons installer les outils et les bibliothèques dont nous aurons besoin, choisir le bon environnement de développement intégré (IDE) et obtenir les informations d'identification API importantes.

Installation de Python et bibliothèques requises

  • La première étape de la configuration de votre environnement consiste à vous assurer que Python est installé sur votre système. Si vous n'avez pas encore installé Python, vous pouvez le télécharger depuis le site officiel à l'adresse python.org.

  • Une fois Python installé, l'étape suivante consiste à vérifier que vous disposez des bibliothèques requises pour ce projet. Dans notre cas, nous aurons besoin de trois bibliothèques principales :

    • Crawlbase Bibliothèque Python:Cette bibliothèque sera utilisée pour faire Requêtes HTTP à la page de recherche Etsy en utilisant le Crawlbase Crawling APIPour l'installer, vous pouvez utiliser pip avec la commande suivante :
    1
    pip installe crawlbase
    • Belle soupe 4: Beautiful Soup est une bibliothèque Python qui permet de récupérer et d'analyser facilement le contenu HTML des pages Web. C'est un outil essentiel pour extraire des données du Web. Vous pouvez l'installer à l'aide de pip :
    1
    pip installer beautifulsoup4
    • Pandas:Pandas est une puissante bibliothèque de manipulation et d'analyse de données en Python. Nous l'utiliserons pour stocker et gérer les données récupérées. Installez pandas avec pip :
    1
    pip installer des pandas

Choisir le bon IDE de développement

Un environnement de développement intégré (IDE) fournit un environnement de codage avec des fonctionnalités telles que la mise en surbrillance du code, la saisie semi-automatique et les outils de débogage. Bien que vous puissiez écrire du code Python dans un simple éditeur de texte, un IDE peut améliorer considérablement votre expérience de développement.

Voici quelques IDE Python populaires à prendre en compte :

  1. PyCharm:PyCharm est un IDE robuste avec une édition communautaire gratuite. Il offre des fonctionnalités telles que l'analyse de code, un débogueur visuel et la prise en charge du développement Web.

  2. Code Visual Studio (code VS): VS Code est un éditeur de code gratuit et open source développé par Microsoft. Sa vaste bibliothèque d'extensions le rend polyvalent pour diverses tâches de programmation, notamment le scraping Web.

  3. Jupyter Notebook:Jupyter Notebook est excellent pour le codage interactif et l'exploration de données. Il est couramment utilisé dans les projets de science des données.

  4. Spyder:Spyder est un IDE conçu pour les tâches scientifiques et liées aux données. Il fournit des fonctionnalités telles qu'un explorateur de variables et une console interactive.

S'inscrire à Crawlbase Crawling API et obtenir le jeton correct

Pour utiliser la Crawlbase Crawling API pour effectuer des requêtes HTTP sur la page de recherche Etsy, vous devrez créer un compte sur le Crawlbase site de NDN Collective. Maintenant, nous allons vous aider à configurer un Crawlbase Compte. Suivez ces étapes:

  1. Rendez-vous sur Crawlbase Sites web: ouvrez votre navigateur Web et accédez au Crawlbase site de NDN Collective Inscription page pour commencer le processus d'inscription.
  2. Fournissez vos coordonnées:Il vous sera demandé de fournir votre adresse e-mail et de créer un mot de passe pour votre Crawlbase compte. Remplissez les informations requises.
  3. VérificationAprès avoir soumis vos informations, vous devrez peut-être vérifier votre adresse e-mail. Consultez votre boîte de réception pour recevoir un e-mail de vérification de la part de Crawlbase et suivez les instructions fournies.
  4. Connexion:Une fois votre compte vérifié, revenez à la Crawlbase site Web et connectez-vous à l'aide de vos informations d'identification nouvellement créées.
  5. Accédez à votre jeton API:Vous aurez besoin d'un jeton API pour utiliser le Crawlbase Crawling API. Vous pouvez trouver vos jetons ici.

Note: Crawlbase Nous proposons deux types de jetons : le jeton normal (TCP) pour les sites web statiques et le jeton JavaScript (JS) pour les sites web dynamiques ou utilisant JavaScript. Etsy s'appuyant fortement sur JavaScript pour le chargement dynamique de son contenu, nous opterons pour le jeton JavaScript. Pour un démarrage en douceur, Crawlbase offre généreusement une allocation initiale de 1,000 XNUMX demandes gratuites pour le Crawling API.

Avec Python et les bibliothèques requises installées, l'IDE de votre choix configuré et votre Crawlbase Avec vos identifiants API en main, vous êtes prêt à commencer à extraire les fiches produits Etsy. Dans les sections suivantes, nous approfondirons la compréhension de la structure du site web d'Etsy et de son utilisation. Crawlbase Crawling API de manière efficace.

Comprendre la structure du site Web d'Etsy

Avant de commencer à extraire les fiches produits d'Etsy, il est essentiel d'avoir une bonne compréhension de la structure du site Web d'Etsy. Comprendre comment la page Web est organisée et identifier les éléments spécifiques que vous souhaitez extraire préparera le terrain pour une opération d'extraction réussie.

Composants de la page de recherche d'Etsy

La page de recherche d'Etsy est l'endroit où la magie opère. C'est la passerelle vers une vaste gamme de listes de produits. Mais à quoi ressemble-t-elle réellement sous le capot ? Décomposons certains des composants clés :

Page de recherche Etsy
  • Barre de recherche:C'est ici que les utilisateurs peuvent saisir des requêtes de recherche pour trouver des éléments ou des catégories spécifiques. En tant que scraper, vous pouvez automatiser les recherches en envoyant des requêtes HTTP avec différents termes de recherche.
  • Résultats de la recherche:Les résultats de recherche sont le cœur de la page. Ils contiennent des listes de produits individuelles, chacune avec son propre ensemble d'informations. Comprendre la structure de ces listes est essentiel pour un scraping efficace.
  • Pagination:Etsy divise souvent les résultats de recherche en plusieurs pages. Pour capturer un ensemble de données complet, vous devrez parcourir ces pages, ce qui est l'un des défis que nous aborderons dans ce guide.
  • Listes de produits: Chaque fiche produit comprend généralement des détails tels que le titre du produit, son prix, sa description, les informations sur le vendeur, etc. Ce sont ces éléments que nous allons cibler pour l'extraction.

Identifier les éléments que vous souhaitez récupérer

Maintenant que nous savons à quoi ressemble la page de recherche d'Etsy, concentrons-nous sur les éléments que nous souhaitons récupérer. Les éléments clés qui nous intéressent sont généralement les suivants :

  • Titre du produit:Il s'agit du nom ou du titre du produit. Il est essentiel pour identifier et classer les annonces.
  • Prix:Le prix du produit est crucial pour les vendeurs comme pour les acheteurs. L'analyse des prix permet d'analyser les tendances des prix et de prendre des décisions d'achat éclairées.
  • Description du produit*:La description du produit fournit des informations précieuses sur l’article, aidant les acheteurs potentiels à faire des choix éclairés.
  • Informations sur le vendeur:Consulter le vendeur et son emplacement peut être utile aussi bien pour les vendeurs que pour les acheteurs. Ces informations peuvent être précieuses pour l'analyse du marché.
  • Images du produit:Les images font partie intégrante des achats en ligne. Le scraping des URL d'images vous permet de visualiser les produits et d'utiliser les images dans vos analyses ou applications.
  • Évaluation et avis sur les produits:Les notes et les avis peuvent fournir des informations sur la qualité du produit et la réputation du vendeur. L'extraction de ces données est utile pour évaluer le marché.

En identifiant et en comprenant ces éléments, vous serez bien préparé à élaborer votre stratégie de scraping. Dans les sections suivantes, nous aborderons les aspects techniques de l'utilisation de Python et de ses fonctionnalités. Crawlbase Crawling API pour collecter ces données et vous assurer de disposer de toutes les connaissances nécessaires pour extraire des informations significatives du site Web dynamique d'Etsy.

Introduction à la Crawlbase Crawling API

Crawlbase Crawling API est l'un des l' meilleurs outils d'exploration Web Conçu pour gérer des scénarios de scraping Web complexes tels que les pages Web dynamiques d'Etsy. Il offre un moyen simplifié d'accéder au contenu Web tout en contournant les défis courants tels que le rendu JavaScript, les CAPTCHA et les mesures anti-scraping.

L'une des caractéristiques notables de la Crawlbase Crawling API est la rotation IP, une technique qui permet d'éviter les blocages IP et les défis CAPTCHA. rotation des adresses IP, l'API garantit que vos demandes de scraping Web apparaissent comme si elles provenaient d'emplacements différents, ce qui rend plus difficile pour les sites Web de détecter et de bloquer les activités de scraping.

Avec la collection Crawlbase Crawling API, vous pouvez envoyer des requêtes à des sites Web et recevoir des données structurées en réponse. Il se charge du rendu JavaScript, du traitement du contenu dynamique et du retour du contenu HTML prêt à être analysé.

Cette API offre une approche simple du scraping Web, ce qui en fait un excellent choix pour des projets comme le nôtre, où l'objectif est d'extraire efficacement des données de sites Web dynamiques.

Bénéfices du Crawlbase Crawling API

Crawlbase Crawling API offre plusieurs avantages, la rotation IP jouant un rôle important pour surmonter les défis courants du scraping Web :

Bénéfices du Crawling API
  • Rendu JavaScript:Il gère les sites Web qui s'appuient fortement sur JavaScript pour le rendu du contenu. Ceci est crucial pour les plateformes comme Etsy, où le contenu dynamique est courant.
  • Demandes simplifiées: L'API élimine les complexités de la gestion des requêtes HTTP, des cookies et des sessions. Vous pouvez vous concentrer sur l'élaboration de votre logique de scraping pendant que l'API s'occupe des détails techniques.
  • Structure de données:Les données que vous recevez de l'API sont généralement bien structurées, ce qui facilite l'analyse et l'extraction des informations dont vous avez besoin.
  • Évolutivité:Il permet un scraping Web évolutif en gérant plusieurs requêtes simultanément, ce qui peut être avantageux lors du traitement de gros volumes de données.
  • Fiabilité: Les Crawlbase Crawling API est conçu pour être fiable et fournir des résultats cohérents, ce qui est essentiel pour tout projet de scraping Web.

Crawlbase Bibliothèque Python

Crawlbase Librairie Python est un wrapper léger et sans dépendance pour Crawlbase API, simplifiant les subtilités du web scraping. Cet outil polyvalent simplifie des tâches comme l'envoi de requêtes HTTP aux sites web, en gérant efficacement Rotation IP, et manœuvrer avec grâce à travers les obstacles du Web, y compris les CAPTCHA. Pour vous lancer dans votre aventure de scraping Web avec cette bibliothèque, vous pouvez suivre ces étapes en toute transparence :

  1. Importer: Pour manier le redoutable Crawling API du Crawlbase Pour accéder à la bibliothèque, vous devez commencer par importer l'indispensable classe CrawlingAPI. Cette étape fondamentale ouvre la voie à l'accès à une gamme de Crawlbase API. Voici un aperçu de la manière d'importer ces API :
1
à partir de crawlbase, importer CrawlingAPI
  1. Initialisation: Avec votre Crawlbase Une fois le jeton API en main, l'étape cruciale suivante consiste à initialiser la classe CrawlingAPI. Ce moment crucial connecte votre code aux vastes capacités de Crawlbase:
1
api = API d'exploration({ 'jeton': 'VOTRE_JETON_CRAWLBASE' })
  1. Envoi d'une demande:Une fois que votre classe CrawlingAPI est prête avec votre Crawlbase Avec un jeton API, vous êtes prêt à envoyer des requêtes à vos sites web cibles. Voici un exemple pratique de création d'une requête GET adaptée à l'extraction des annonces iPhone depuis la page de recherche d'Etsy :
1
2
3
réponse = api.get("https://www.facebook.com/BillGates")
if réponse['code_d'état'] == 200:
    impression(réponse['corps'])

Avec la collection Crawlbase Avec la bibliothèque Python comme fidèle compagnon, vous pouvez vous lancer en toute confiance dans votre exploration web. Pour approfondir ses fonctionnalités, consultez la section « Détails ». ici.

Dans les sections suivantes, nous montrerons comment tirer parti de la Crawlbase Crawling API et la bibliothèque Python pour explorer la page de recherche d'Etsy, extraire les listes de produits et stocker les données à des fins d'analyse.

Récupération des listes de produits Etsy

Avec notre environnement aménagé et équipé avec les Crawlbase Crawling API, il est temps de plonger dans le cœur de notre aventure de scraping Web. Dans cette section, nous explorerons les étapes nécessaires à l'extraction des listes de produits Etsy, de l'exploration du code HTML de la page de recherche d'Etsy à la gestion de la pagination pour plusieurs pages de résultats.

Crawling Page de recherche HTML Etsy

Le voyage commence par faire une demande sur la page de recherche d'Etsy en utilisant le Crawlbase Crawling APIEn envoyant une requête HTTP à la page de recherche d'Etsy, nous récupérons le contenu HTML brut de la page. C'est le point de départ de notre processus d'extraction de données.

Crawlbase Crawling API s'occupe du rendu JavaScript, garantissant que nous recevons la page Web entièrement chargée. Cela est essentiel car de nombreux éléments des listes de produits d'Etsy sont chargés de manière dynamique à l'aide de JavaScript. Vous trouverez ci-dessous le script Python permettant d'explorer le code HTML de la page de recherche Etsy pour la requête de recherche « vêtements ».

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
à partir de base d'exploration importer API d'exploration

# Initialisez la classe CrawlingAPI avec votre Crawlbase Jeton API
api = API d'exploration({ 'jeton': 'VOTRE_CRAWLBASE_JS_TOKEN' })

# options pour Crawling API
choix = {
 'page_wait': 2000,
 'ajax_wait': 'vrai'
}

# Construire l'URL de la requête
URL de recherche = 'https://www.etsy.com/search?q=clothes'

# Effectuez une requête GET sur la page de recherche Etsy
réponse = api.get(search_url, options)

# Vérifiez si la demande a abouti (code d'état 200)
if réponse['code_d'état']== 200:
    # Contenu HTML extrait après décodage des données d'octets
    search_page_html = réponse['corps'].décoder('latin1')
    impression(page_de_recherche_html)
d'autre:
    impression(« Échec de la récupération de la page. Code d'état : », réponse['code_d'état'])

Cet extrait de code Python montre comment utiliser CrawlingAPI de la bibliothèque « crawlbase » pour récupérer des données à partir d'une page de recherche Etsy :

  1. Vous initialisez la classe CrawlingAPI avec votre jeton API.
  2. Vous définissez certaines options pour l'API d'exploration, notamment les temps d'attente des pages et d'AJAX.
  3. Vous construisez l'URL de la page de recherche Etsy pour les vêtements.

À l'aide de la requête GET de l'API, vous récupérez le contenu de la page. Si la requête aboutit (code d'état 200), vous décodez le contenu HTML de la réponse et le récupérez.

Exemple de sortie:

Capture d'écran de sortie HTML

Inspection du code HTML pour obtenir des sélecteurs CSS

Une fois que nous avons le contenu HTML de la page de recherche, l'étape suivante consiste à inspecter la structure HTML pour identifier les sélecteurs CSS des éléments que nous voulons extraire. C'est là que les outils de développement Web et les outils de développement de navigateur viennent à notre secours. Décrivons comment vous pouvez inspecter la structure HTML et dénicher ces précieux sélecteurs CSS :

Inspecter la page de recherche Etsy
  1. Accéder au site Web: Rendez-vous sur le site Web Etsy et visitez une page de recherche qui capte votre intérêt.
  2. Faites un clic droit et inspectez: Cliquez avec le bouton droit de la souris sur l'élément de la page dont vous souhaitez obtenir des informations. Choisissez « Inspecter » ou « Inspecter l'élément » dans le menu qui apparaît. Cela ouvrira les outils de développement dans votre navigateur.
  3. Découvrir la source HTML: Recherchez le code source HTML dans les outils de développement. Déplacez votre souris sur différentes parties du code et la zone correspondante de la page Web s'allumera.
  4. Identifier les sélecteurs CSS: Pour obtenir les sélecteurs CSS d'un élément spécifique, faites un clic droit dessus dans les outils de développement et choisissez « Copier » > « Copier le sélecteur ». Cela copiera le sélecteur CSS dans votre presse-papiers, que vous pourrez utiliser pour le scraping Web.

Une fois que vous avez les sélecteurs, vous pouvez commencer à collecter des données à partir de la page de recherche d'Etsy avec votre scraper. Gardez à l'esprit que les sélecteurs dont nous parlons ici fonctionnaient lorsque nous avons écrit ceci, mais Etsy pourrait mettre à jour son site, ce qui pourrait empêcher le code de fonctionner plus tard.

Récupération des données de listes de produits à partir de HTML

Avec les sélecteurs CSS en main, nous pouvons maintenant écrire du code Python pour analyser le contenu HTML et extraire les données souhaitées. Nous utiliserons Beautiful Soup, une bibliothèque d'analyse HTML populaire, pour parcourir le HTML et collecter des informations à partir des éléments spécifiés.

Par exemple, vous pouvez extraire les titres des produits, les prix, les notes et d'autres détails pertinents du contenu HTML. Les données récupérées sont ensuite structurées et peuvent être stockées pour une analyse ou un traitement ultérieur. Étendons notre script précédent et récupérons ces informations à partir du HTML.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
# Importer les bibliothèques nécessaires
importer json
à partir de bs4 importer BeautifulSoup
à partir de base d'exploration importer API d'exploration

# Initialisez la classe CrawlingAPI avec votre Crawlbase Jeton API
api = API d'exploration({ 'jeton': 'VOTRE_CRAWLBASE_JS_TOKEN' })

# options pour Crawling API
choix = {
 'page_wait': 3000,
 'ajax_wait': 'vrai'
}

# Définir la requête de recherche
requête_recherche = 'vêtements'

# Construire l'URL de la requête
URL de recherche = f'https://www.etsy.com/search?q={requête_recherche}'

Essai:
    # Effectuez une requête GET sur la page de recherche Etsy
    réponse = api.get(search_url, options)

    # Vérifiez si la demande a abouti (code d'état 200)
    if réponse['code_d'état']== 200:
        # Contenu HTML extrait après décodage des données d'octets
        search_page_html = réponse['corps'].décoder('latin1')

        # Analyser le contenu HTML à l'aide de Beautiful Soup
        soupe = BeautifulSoup(search_page_html, 'html.parser')

        # Extraire les détails du produit
        détails_du_produit = []

        # Rechercher tous les conteneurs de produits sur la page
        produit_contenants = soup.select('div.search-listings-group div[données-recherche-résultats-conteneur] ol li')

        # Itérer sur chaque conteneur de produit
        pour CONTENANT in conteneurs_produits :
            produit = {}

            # Extraire le nom du produit
            titleElement = conteneur.select_one('div.v2-listing-card__info h3.v2-listing-card__title')
            produit['Titre'] = titleElement.texte.strip() if titreElément d'autre ''

            # Extraire le prix du produit
            priceElement = conteneur.select_one('div.n-listing-card__price p.lc-price span.devise-valeur')
            produit['prix'] = priceElement.texte.strip() if Élément de prix d'autre ''

            # Extraire la note du produit
            ratingElement = conteneur.select_one('div.v2-listing-card__info div.shop-name-with-rating span.larger_review_stars > div')
            produit['notation'] = ratingElement.texte.strip() if Élément de notation d'autre ''

            # Ajoutez les détails du produit à la liste
            product_details.append(produit)

        # Imprimez ou enregistrez tous les détails du produit
        impression(json.dumps(détails_du_produit, indent=2))

sauf Exception as e:
    impression(f"Une erreur s'est produite : {e}")

Le script se concentre ensuite sur l'extraction des détails du produit. Pour ce faire, il identifie et sélectionne tous les conteneurs de produits dans la structure HTML. Pour chaque conteneur de produits, il crée un dictionnaire pour stocker des informations telles que le titre, le prix et la note du produit. Ces informations sont extraites en sélectionnant des éléments HTML spécifiques qui contiennent ces détails.

Les détails du produit récupérés sont regroupés dans une liste et le script convertit cette liste en une représentation JSON avec une indentation appropriée, rendant les données structurées et lisibles.

Exemple de sortie:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
[
  {
    « Titre »: "Sweat-shirt chrétien pour femme, cadeaux religieux pour la fête des mères, chemises avec versets bibliques, chemises Psaumes 91 pour femme, t-shirts basés sur la foi, KP6200",
    "prix": "13.85",
    "notation": "4.8"
  },
  {
    « Titre »: "Ce n'est pas moi qui vais Sweatshirt, T-shirt drôle Grinch, chemise Grinch, sweat-shirt Grinch, chemise de Noël, sweat-shirt de Noël T-shirt de Noël",
    "prix": "8.49",
    "notation": "4.8"
  },
  {
    « Titre »: "Reconnaissant | Sweat-shirt super doux | Sweat-shirt de Thanksgiving | Sweat-shirt d'automne pour femmes | Sweat-shirt de Thanksgiving pour hommes | T-shirt Friendsgiving",
    "prix": "29.99",
    "notation": "4.9"
  },
  {
    « Titre »: "Différentes façons de dire je t'aime à capuche, avec des mots au dos à capuche positif, sweats à capuche tendance, vêtements esthétiques à capuche surdimensionné, sweat à capuche de sororité",
    "prix": "27.50",
    "notation": "4.9"
  },
  {
    « Titre »: « Pantalons Gallery Dept High Street, pantalons décontractés unisexes à imprimé graffiti, streetwear Y2K, cadeaux pour femmes »,
    "prix": "59.69",
    "notation": "4.4"
  },
  {
    « Titre »: "Sweat-shirt Halloweentown Est 1998, Université Halloweentown, Sweat-shirt rétro Halloweentown, Sweat-shirt d'automne, Sweat-shirt d'Halloween",
    "prix": "9.74",
    "notation": "4.9"
  },
  {
    « Titre »: "Combinaison salopette pour femme, combinaison barboteuse pour femme avec poche, combinaison salopette bohème, vêtements bohèmes, tenue bohème,",
    "prix": "35.64",
    "notation": "4.5"
  },
  {
    « Titre »: "Sweat à capuche personnalisé avec chiffres romains brodés, cadeaux personnalisés pour couples, cadeaux d'anniversaire, anniversaire en coton, sweat à capuche brodé pour couples",
    "prix": "22.00",
    "notation": "4.8"
  },
  {
    « Titre »: "Chemisier à manches ballon imprimé inhabituel, haut de festival, tenue de festival, tenue d'été\u00ef\u00bc\u008ccadeau pour elle, cadeau de couple, idée cadeau",
    "prix": "40.00",
    "notation": "3.8"
  },
  {
    « Titre »: "Pantalon à pattes d'éléphant en velours, vêtements de festival, pantalons évasés en velours, hippie, bohème, olive, avocat, vert",
    "prix": "39.60",
    "notation": "4.7"
  },
  .....
]

Gestion de la pagination pour plusieurs pages de résultats

Les résultats de recherche d'Etsy sont souvent répartis sur plusieurs pages, chacune contenant un ensemble de fiches produits. Pour nous assurer de rassembler un ensemble de données complet, nous devons gérer la pagination. Cela implique de parcourir les pages de résultats et de faire des demandes supplémentaires si nécessaire. La gestion de la pagination est essentielle pour obtenir une vue complète des fiches produits d'Etsy et garantir que votre analyse repose sur un ensemble de données complet. Mettons à jour notre script précédent pour gérer la pagination.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
importer json
à partir de bs4 importer BeautifulSoup
à partir de base d'exploration importer API d'exploration

# Initialisez la classe CrawlingAPI avec votre Crawlbase Jeton API
api = API d'exploration({'jeton': 'VOTRE_CRAWLBASE_JS_TOKEN'})

# options pour Crawling API
choix = {
 'page_wait': 5000,
 'ajax_wait': 'vrai'
}

def obtenir_le_total_des_pages(URL de recherche):
    Essai:
        réponse = api.get(search_url, options)
        if réponse['code_d'état']== 200:
            search_page_html = réponse['corps'].décoder('latin1')
            soupe = BeautifulSoup(search_page_html, 'html.parser')
            nombre_total = int(soupe.select_one('div[data-appears-component-name="search_pagination"] nav ul.search-pagination li:nth-last-child(3) a').texte)
            retourner pages_totales
    sauf Exception as e:
        impression(f"Une erreur s'est produite lors de la récupération du nombre total de pages : {e}")
    retourner 1

def gratter_page(L'URL de la page):
    Essai:
        réponse = api.get(page_url, options)
        if réponse['code_d'état']== 200:
            page_html = réponse['corps'].décoder('latin1')
            page_soup = BelleSoup(page_html, 'html.parser')
            conteneurs_produits = page_soup.select('div.search-listings-group div[données-recherche-résultats-conteneur] ol li')
            détails_du_produit = []
            pour CONTENANT in conteneurs_produits :
                produit = {}
                # Extraire le nom du produit
                titleElement = conteneur.select_one('div.v2-listing-card__info h3.v2-listing-card__title')
                produit['Titre'] = titleElement.texte.strip() if titreElément d'autre ''
                # Extraire le prix du produit
                priceElement = conteneur.select_one('div.n-listing-card__price p.lc-price span.devise-valeur')
                produit['prix'] = priceElement.texte.strip() if Élément de prix d'autre ''
                # Extraire la note du produit
                ratingElement = conteneur.select_one('div.v2-listing-card__info div.shop-name-with-rating span.larger_review_stars > div')
                produit['notation'] = ratingElement.texte.strip() if Élément de notation d'autre ''
                product_details.append(produit)
            retourner détails_du_produit
    sauf Exception as e:
        impression(f"Une erreur s'est produite lors du scraping de la page : {e}")
    retourner []

def principal†
    # Définir la requête de recherche
    requête_recherche = 'vêtements'

    # Construire l'URL de la requête pour la première page
    URL de recherche = f'https://www.etsy.com/search?q={requête_recherche}'

    total_pages = obtenir_total_pages(url_de_recherche)
    tous_les_détails_du_produit = []

    pour page in gamme(1, nombre_total_de_pages + 1):
        page_url = f'{search_url}&page={page}'
        page_product_details = scrape_page(page_url)
        tous_les_détails_du_produit.extend(page_détails_du_produit)

    # Traitez ensuite all_product_details selon vos besoins

if __nom__ == "__principale__":
    principale()

Ce code gère la pagination en déterminant d'abord le nombre total de pages dans les résultats de recherche, puis en récupérant systématiquement les données de chaque page. get_total_pages La fonction récupère le nombre total de pages en effectuant une requête GET initiale sur la page de recherche Etsy et en analysant le code HTML pour extraire le nombre total de pages. Elle fournit une gestion des erreurs robuste pour garantir qu'elle peut gérer les exceptions si la requête ou l'analyse échoue.

scrape_page La fonction est responsable de l'extraction des données d'une seule page. Elle utilise également des requêtes GET pour récupérer le contenu HTML d'une page spécifique, puis utilise BeautifulSoup pour analyser le contenu. Les détails du produit sont extraits des conteneurs de produits sur la page, de manière similaire au script précédent. Elle fournit également une gestion des erreurs pour gérer les exceptions pendant le processus d'extraction.

Dans l' main fonction, le code détermine d'abord le nombre total de pages en appelant get_total_pages, puis il parcourt chaque page à l'aide d'une boucle for, en construisant l'URL de chaque page en fonction du numéro de page. La fonction scrape_page est appelée pour chaque page afin d'extraire les détails du produit, et ces détails sont collectés et ajoutés à la all_product_details liste. En faisant cela pour toutes les pages, le code gère efficacement la pagination, garantissant que les données de chaque page sont extraites et collectées.

Une fois toutes les pages traitées, vous pouvez continuer à travailler avec les pages accumulées. all_product_details répertoriez les éléments nécessaires à l'analyse ou au stockage. Cette approche permet d'extraire des données complètes à partir d'un site Web paginé, tel qu'Etsy.

Stockage des données récupérées

Après avoir extrait avec succès les données des pages de recherche d'Etsy, l'étape cruciale suivante consiste à stocker ces précieuses informations pour une analyse et une référence ultérieures. Dans cette section, nous allons explorer deux méthodes courantes de stockage des données : l'enregistrement des données extraites dans un fichier CSV et leur stockage dans une base de données SQLite. Ces méthodes vous permettent d'organiser et de gérer efficacement vos données extraites.

Stockage des données récupérées dans un fichier CSV

Le format CSV est largement utilisé pour stocker des données tabulaires. Il s'agit d'un moyen simple et lisible par l'homme de stocker des données structurées, ce qui en fait un excellent choix pour enregistrer les données extraites de vos fiches produits Etsy.

Nous allons étendre notre script de scraping Web précédent pour inclure une étape permettant d'enregistrer les données extraites dans un fichier CSV à l'aide de la bibliothèque Python populaire, pandas. Voici une version mise à jour du script :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
importer pandas as pd
à partir de bs4 importer BeautifulSoup
à partir de base d'exploration importer API d'exploration

# Initialisez la classe CrawlingAPI avec votre Crawlbase Jeton API
api = API d'exploration({'jeton': 'VOTRE_CRAWLBASE_JS_TOKEN'})

def obtenir_le_total_des_pages(URL de recherche):
    # ... (Code précédent pour obtenir le nombre total de pages)

def gratter_page(L'URL de la page):
    # ... (Code précédent pour récupérer une page)

def principal†
    # Définir la requête de recherche
    requête_recherche = 'vêtements'

    # Construire l'URL de la requête pour la première page
    URL de recherche = f'https://www.etsy.com/search?q={requête_recherche}'

    total_pages = obtenir_total_pages(url_de_recherche)
    tous_les_détails_du_produit = []

    pour page in gamme(1, nombre_total_de_pages + 1):
        page_url = f'{search_url}&page={page}'
        page_product_details = scrape_page(page_url)
        tous_les_détails_du_produit.extend(page_détails_du_produit)

    # Enregistrer les données récupérées sous forme de fichier CSV
    df = pd.DataFrame(tous_les_détails_du_produit)
    df.to_csv('etsy_product_data.csv', indice=Faux)

if __nom__ == "__principale__":
    principale()

Dans ce script mis à jour, nous avons introduit pandas, une puissante bibliothèque de manipulation et d'analyse de données. Après avoir récupéré et accumulé les détails de la liste des produits dans le all_product_details liste, nous créons un DataFrame pandas à partir de ces données. Ensuite, nous utilisons le to_csv méthode pour enregistrer le DataFrame dans un fichier CSV nommé « etsy_product_data.csv » dans le répertoire actuel. index=False garantit que nous n'enregistrons pas l'index du DataFrame en tant que colonne séparée dans le fichier CSV.

Vous pouvez facilement travailler avec et analyser vos données récupérées en utilisant pandas. Ce fichier CSV peut être ouvert dans divers logiciels de tableur ou importé dans d'autres outils d'analyse de données pour une exploration et une visualisation plus approfondies.

Stockage des données récupérées dans une base de données SQLite

Si vous préférez une approche plus structurée et plus conviviale pour le stockage des données, SQLite est un moteur de base de données léger et sans serveur qui peut être un excellent choix. Vous pouvez créer une table de base de données pour stocker vos données extraites, ce qui permet une récupération et une manipulation efficaces des données. Voici comment vous pouvez modifier le script pour stocker des données dans une base de données SQLite :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
importer json
importer sqlite3
à partir de bs4 importer BeautifulSoup
à partir de base d'exploration importer API d'exploration

# Initialisez la classe CrawlingAPI avec votre Crawlbase Jeton API
api = API d'exploration({'jeton': 'VOTRE_CRAWLBASE_JS_TOKEN'})

def créer_base de données†
    conn = sqlite3.connect('etsy_products.db')
    curseur = conn.curseur()
    curseur.execute('''CRÉER UNE TABLE SI IL N'EXISTE PAS de produits (
                      id INTEGER CLÉ PRIMAIRE AUTO-INCRÉMENTATION,
                      titre TEXTE,
                      prix TEXTE,
                      note TEXTE
                    )''')
    conn.commit()
    conn.close()

def enregistrer_dans_la_base_de_données(données,):
    conn = sqlite3.connect('etsy_products.db')
    curseur = conn.curseur()

    # Créer une liste de tuples à partir des données
    data_tuples = [(produit['Titre'], produit['prix'], produit['notation']) pour produits in données]

    # Insérer des données dans la table des produits
    curseur.executemany('' '
        INSÉRER DANS les produits (titre, prix, note)
        VALEURS (?, ?, ?)
    '' ', tuples_de_données)

    conn.commit()
    conn.close()

def obtenir_le_total_des_pages(URL de recherche):
    # ... (inchangé)

def gratter_page(L'URL de la page):
    # ... (inchangé)

def principal†
    # Créer la base de données et la table des produits
    créer_base_de_données()

    # Définir la requête de recherche
    requête_recherche = 'vêtements'

    # Construire l'URL de la requête pour la première page
    URL de recherche = f'https://www.etsy.com/search?q={requête_recherche}'

    total_pages = obtenir_total_pages(url_de_recherche)
    tous_les_détails_du_produit = []

    pour page in gamme(1, nombre_total_de_pages + 1):
        page_url = f'{search_url}&page={page}'
        page_product_details = scrape_page(page_url)
        tous_les_détails_du_produit.extend(page_détails_du_produit)

    # Insérer les données récupérées dans la base de données SQLite
    enregistrer_dans_la_base_de_données(tous_les_détails_du_produit)

if __nom__ == "__principale__":
    principale()

Dans ce code mis à jour, nous avons ajouté des fonctions pour créer la base de données et la table SQLite ( create_database ) et enregistrer les données récupérées dans la base de données ( save_to_database ). La fonction create_database vérifie si la base de données et la table existent et les crée si ce n'est pas le cas. La fonction save_to_database insère les données récupérées dans la table « products ».
En exécutant ce code, vous stockerez les données extraites de votre liste de produits Etsy dans une base de données SQLite nommée « etsy_products.db ». Vous pourrez ensuite récupérer et manipuler ces données à l'aide de requêtes SQL ou y accéder par programmation dans vos projets Python.

Mot de la fin

Ce guide a fourni les informations nécessaires pour extraire efficacement les listes de produits Etsy en utilisant Python et le Crawlbase Crawling API. Devez-vous approfondir votre expertise dans l'extraction d'informations sur les produits à partir de plateformes de commerce électronique supplémentaires telles que Walmart, eBayet AliExpress, nous vous encourageons à consulter les guides complémentaires fournis.

Nous comprenons que le scraping Web peut présenter des défis et il est important que vous vous sentiez soutenu. Par conséquent, si vous avez besoin de conseils supplémentaires ou rencontrez des obstacles, n'hésitez pas à nous contacter. Notre équipe dédiée s'engage à vous accompagner tout au long de vos démarches de web scraping.

Foire aux questions (FAQ)

Le scraping Web est un processus automatisé d'extraction de données à partir de sites Web en récupérant et en analysant leur contenu HTML. Il peut s'agir d'un outil précieux à diverses fins, notamment pour l'analyse de données et les études de marché.

En ce qui concerne la légalité du scraping Web sur des plateformes comme Etsy, tout dépend de la conformité de la pratique avec les conditions et les politiques du site Web. Bien que le scraping Web en soi ne soit pas illégal en soi, les sites Web peuvent avoir des conditions de service qui autorisent ou restreignent le scraping. Etsy, comme de nombreuses plateformes en ligne, a ses conditions de service et un fichier robots.txt qui décrit les règles pour les robots d'exploration et les scrapers Web. Il est essentiel de lire et de respecter ces directives lors du scraping d'Etsy. Le non-respect peut entraîner des conséquences juridiques ou l'interdiction d'accès au site Web.

Q. Comment fonctionne la rotation IP dans Crawlbase Crawling API, et pourquoi est-ce essentiel pour le web scraping ?

Rotation IP dans le Crawlbase Crawling API implique de modifier de manière dynamique l'adresse IP utilisée pour chaque demande de scraping Web. Ce processus est essentiel pour un scraping Web réussi, car il permet de contourner les défis courants tels que les interdictions d'IP, les blocages et les défis CAPTCHA. En faisant tourner en permanence les adresses IP, l'API rend considérablement plus difficile pour les sites Web d'identifier et de contrecarrer les activités de scraping. Cette approche proactive garantit la fiabilité et le succès de vos opérations de scraping Web, vous permettant d'accéder aux données dont vous avez besoin et de les collecter sans interruption ni obstacle.

Q. Quels sont les défis courants lors du scraping de sites Web dynamiques comme Etsy, et comment Crawlbase Crawling API les aborder ?

Le scraping de sites web dynamiques comme Etsy présente de nombreux défis, principalement parce que ces sites s'appuient fortement sur JavaScript pour charger et afficher leur contenu. Le chargement de contenu dynamique peut compliquer l'extraction de données par les méthodes traditionnelles de scraping. Cependant, Crawlbase Crawling API est spécialement conçu pour relever efficacement ces défis. Il y parvient en rendant JavaScript et offre la flexibilité d'inclure des paramètres de requête tels que « ajax_wait » ou « page_wait ». Ces paramètres vous permettent de contrôler le moment où le HTML est récupéré après le rendu JavaScript, garantissant ainsi que vous recevez des pages Web entièrement chargées et prêtes à être analysées. En faisant abstraction des complexités liées à la gestion des requêtes HTTP, des cookies et des sessions, l'API simplifie votre code de scraping, le rendant plus propre et plus simple. De plus, il fournit des données bien structurées en réponse à vos requêtes, ce qui simplifie considérablement les processus d'analyse et d'extraction, vous permettant d'extraire des informations significatives à partir de sites Web dynamiques.

Q. Comment gérez-vous la pagination lors de l'extraction des listes de produits Etsy, et pourquoi est-ce nécessaire ?

La gestion efficace de la pagination est un aspect essentiel du scraping Web des listes de produits Etsy. Etsy divise souvent les résultats de recherche en plusieurs pages pour prendre en charge un grand nombre de listes de produits. Pour obtenir un ensemble de données complet qui inclut toutes les listes pertinentes, vous devez gérer la pagination avec compétence. Cela implique de parcourir systématiquement les différentes pages de résultats et de faire des demandes supplémentaires si nécessaire. La gestion de la pagination est essentielle car elle vous permet de capturer l'intégralité des listes de produits d'Etsy, évitant ainsi toute omission ou lacune dans vos données. Ne pas traiter la pagination peut conduire à des données incomplètes ou inexactes, compromettant ainsi la qualité et la fiabilité de vos résultats de scraping.