Ce blog se concentre sur le scraping des pages de recherche AliExpress à l'aide de JavaScript. AliExpress est une place de marché massive avec des informations sur les produits utiles et essentielles pour les entreprises en ligne. Il constitue une véritable mine d'or pour ceux qui recherchent des données à des fins telles que l'analyse de produits et les études de marché. Cependant, AliExpress dispose de solides défenses. Si vous essayez d'extraire des données sans précaution, vous risquez de vous heurter à des blocages, à la détection de robots et éventuellement à des CAPTCHA - ces énigmes qui arrêtent net la collecte automatisée de données.

Mais ne vous inquiétez pas ! Nous vous guiderons à chaque étape, en vous montrant comment récupérer efficacement des données et contourner les obstacles sans dépenser trop de temps et d'argent. C'est comme avoir un tuteur sympathique à vos côtés, vous expliquant chaque partie du processus.

À la fin de ce blog, vous comprendrez mieux comment utiliser outils d'exploration pour obtenir les données dont vous avez besoin auprès d'AliExpress, aidant votre entreprise à prendre des décisions intelligentes dans le monde des achats en ligne.

Nous avons créé un tutoriel vidéo sur ce blog, au cas où vous aimeriez les tutoriels vidéo.

Oh, et bon scraping pour cet Halloween !

Image d'Halloween

Table des matières

I. Comment effectuer une recherche à l'aide de mots-clés sur AliExpress

II. Portée et structure du projet

III. Configuration de votre environnement

IV. Extraction de la page de recherche AliExpress

V. Acceptation de mots-clés via Postman

VI. Sauvegarde des données au format JSON

VII. Conclusion

VIII. Questions fréquemment posées

I. Comment effectuer une recherche à l'aide de mots-clés sur AliExpress

La recherche sur la page de résultats du moteur de recherche AliExpress (SERP) à l'aide de mots-clés est un processus simple. Voici les étapes à suivre pour rechercher des produits sur AliExpress à l'aide de mots-clés :

  1. Visitez AliExpress : Ouvrez votre navigateur Web et accédez au site Web d'AliExpress (www.aliexpress.com).
  2. Entrez les mots clés: Sur la page d'accueil d'AliExpress, vous trouverez une barre de recherche en haut de la page. Saisissez les mots-clés souhaités dans cette barre de recherche. Ces mots-clés doivent décrire le produit que vous recherchez. Par exemple, si vous recherchez « baskets rouges », saisissez simplement « baskets rouges » dans la zone de recherche.
  3. Cliquez sur « Rechercher » : Après avoir saisi vos mots-clés, cliquez sur le bouton « Rechercher » ou appuyez sur « Entrée » sur votre clavier. AliExpress traitera alors votre requête de recherche.
  4. Parcourir les résultats de la recherche : La page de résultats de recherche d'AliExpress affichera une liste de produits correspondant à vos mots-clés. Vous pouvez faire défiler les résultats de recherche pour découvrir différents produits. Les résultats comprendront des images, des titres de produits, des prix, des évaluations de vendeurs et d'autres informations pertinentes.
Produits d'Halloween sur Aliexpress

Parcourir les différents produits sur AliExpress est une promenade de santé. Mais lorsque vous êtes confronté à la tâche ardue de passer au crible des milliers de mots-clés et d'extraire des données à partir des résultats de recherche, les choses peuvent devenir fastidieuses. Comment relever ce défi ? Comment faire pour extraire les informations sur les produits d'AliExpress dans les plus brefs délais ? La solution se trouve à portée de clic, alors continuez à lire pour découvrir les secrets.

II. Portée et structure du projet

Notre objectif est de faciliter et d'adapter votre processus de recherche de produits sur AliExpress, d'extraire les résultats et de les stocker pour les utiliser. Que vous ayez besoin de données à des fins d'analyse, d'études de marché ou de stratégies de tarification. Le projet vous permettra de saisir des mots-clés, qui seront ensuite transformés en URL de page de résultats de moteur de recherche (SERP) AliExpress valides. Ces URL sont ensuite transmises à l'API Crawlbase pour un scraping Web efficace.

Pour y parvenir, nous utiliserons Postman pour accepter les entrées de l'utilisateur, JavaScript en conjonction avec Bun (JavaScript Runtime), le package Express et enfin, Crawlbase Crawling API pour explorer et scraper AliExpress. Cette approche garantit une récupération transparente des données tout en minimisant le risque d'être bloqué pendant le processus de scraping.

Ci-dessous, vous trouverez une représentation simplifiée de la structure du projet.

gratter les pages de recherche Aliexpress avec des mots-clés infographique

III. Configuration de votre environnement

Vous avez donc préparé vos mots-clés et vous êtes prêt à plonger tête baissée dans le monde des données AliExpress. Mais avant de nous lancer dans notre aventure de scraping Web, il y a un peu de ménage à faire : la configuration de notre environnement. Il s'agit d'un travail de préparation essentiel pour assurer un voyage sans encombre.

1. Obtenir votre jeton JavaScript Crawlbase

Pour commencer, nous devrons créer un compte gratuit Compte Crawlbase et acquérir un Jeton JavaScriptCe jeton est essentiel pour permettre notre récupération efficace des données à partir des pages AliExpress, en utilisant un infrastructure de navigateur sans tête et un spécialiste Crawling API grattoir de données conçu spécifiquement pour les SERP AliExpress.

trouver le jeton de requête js crawlbase

2. Établir votre environnement JavaScript

Maintenant que vous avez ce jeton JavaScript en main, il est temps de préparer le terrain pour notre parcours de codage. Commencez par créer un nouveau répertoire de projet pour votre application de scraping. Dans cet exemple, nous créons un dossier nommé « Crawlbase »

1
mkrdir Base de données d'exploration

3. Utiliser la puissance du pain

Dans ce projet, nous exploiterons la puissance de Corfou, il est donc essentiel de vous assurer que Bun est correctement installé. Bun est une boîte à outils polyvalente tout-en-un conçue pour les applications JavaScript et TypeScript.

Au cœur de Bun se trouve le runtime Bun, un runtime JavaScript hautes performances méticuleusement conçu pour remplacer Node.js. Ce qui le distingue est son implémentation dans le langage de programmation Zig et son utilisation de JavaScriptCore en arrière-plan. Ces facteurs fonctionnent en harmonie pour réduire considérablement les temps de démarrage et la consommation de mémoire, ce qui en fait un élément clé pour vos besoins de développement et de scraping Web.

Exécutez la ligne ci-dessous :

1
cd Crawlbase et init bun

Cette commande est utilisée pour initialiser un nouveau projet avec Bun. Lorsque vous exécutez bun init Dans votre ligne de commande ou votre terminal, il définit la structure et la configuration de base de votre projet de scraping Web. Cela peut inclure la création de répertoires et de fichiers nécessaires au bon fonctionnement de votre projet.

4. Bibliothèque JavaScrip Crawlbase et Express

Nous allons vous présenter deux bibliothèques essentielles : Crawlbase et Express. Bibliothèque JavaScript de Crawlbase est un véritable joyau dans ce contexte, nous permettant d'intégrer de manière transparente les Crawling API dans notre projet JavaScript et Express est un framework d'application Web populaire que nous utiliserons pour créer notre serveur de scraping.

Pour ajouter ces bibliothèques essentielles à votre projet, exécutez simplement la commande suivante dans votre terminal :

1
bun ajouter crawlbase express
bibliothèque crawlbase js

Avec la bibliothèque Crawlbase et Express désormais dans le mix, vous êtes sur la bonne voie pour libérer tout le potentiel de Crawling API et créer une application de scraping robuste. Nous faisons des progrès, alors restez à l'écoute pendant que nous avançons dans ce projet passionnant.

IV. Résultats de l'extraction de la page de recherche AliExpress

Maintenant que l'environnement de développement est prêt, plongeons-nous dans la fonction principale de notre code. Vous pouvez copier et coller le bloc de code suivant et le comprendre en lisant l'explication ci-dessous.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
const exprimer = exigent('exprimer'); // Importer le module 'express'
const { API d'exploration } = exigent('base d'exploration'); // Importez le module 'crwalbase' pour Crawling API
const fs = exigent(« fs »); // Importer le module 'fs'

// Initialisation de Crawlbase Crawling API pour explorer le HTML
const API = nouvelle API d'exploration({ jeton: Jeton « Crawlbase_JS » }); // Remplacez-le par votre jeton JS Crawlbase

// application principale
const application = express();
const PORT = processus.env.PORT || 3000;

app.obtenez('/produits-de-grattage', async (req, res) => {
  Essai {
    const réponse = attendre apiobtenez(
      `https://aliexpress.com/w/wholesale-${req.query.keywords.split('').rejoindre(«-»)}.html`,
      {
        grattoir: 'aliexpress-serp',
      },
    );

    if (réponse.code d'état === 200) {
      const scrapeProducts = réponse.json.corps;
      console.enregistrer(« Produits de grattage : », produits de grattage);

      // Réponse avec du JSON récupéré
      res.statuts(200).envoyer(produits de grattage);
    } d'autre {
      renversement nouvelle Erreur(`La demande d'API a échoué avec le statut : ${response.statusCode}`);
    }
  } capture (erreur) {
    console.erreur(`L'appel d'API a échoué : ${message.d'erreur}`);
    retourner res.statuts(500).envoyer({ statuts: 'Échoué', msg: « Données non enregistrées » });
  }
});

app.écouter(PORT, () => console.enregistrer(`Le serveur est en cours d'exécution sur le port ${PORT}`));
  1. On commence par importer les modules nécessaires : express, CrawlingAPI de Crawlbase, et fs pour les opérations du système de fichiers.
  2. Nous initialisons la Crawlbase Crawling API avec votre jeton JavaScript Crawlbase. Ce jeton donne accès aux services Crawlbase.
  3. Une application Express est créée et nous spécifions le numéro de port du serveur. La valeur par défaut est le port 3000 s'il n'est pas défini dans les variables d'environnement.
  4. Nous définissons un itinéraire, « /scrape-products », en utilisant app.get. Cette route écoute les requêtes GET et est responsable du processus de scraping Web.
  5. Dans cet itinéraire, nous utilisons api.get pour demander le contenu HTML d'une URL AliExpress générée dynamiquement en fonction des mots-clés de recherche de l'utilisateur. Nous remplaçons les espaces dans les mots-clés par des tirets pour créer la structure d'URL appropriée.
  6. Nous spécifions le scraper « aliexpress-serp » pour indiquer à Crawlbase d'utiliser le scraper SERP AliExpress pour cette URL spécifique.
  7. Si la réponse de l'API a un code d'état de 200 (indiquant une réussite), nous extrayons les données du produit récupérées et les enregistrons dans la console. Les données récupérées sont ensuite renvoyées sous forme de réponse JSON au client.
  8. Si la réponse de l'API a un code d'état différent, une erreur est générée avec un message indiquant l'état d'échec.
  9. En cas d'erreurs ou d'exceptions, nous les traitons en enregistrant un message d'erreur et en envoyant une réponse 500 Internal Server Error avec un message indiquant que les données n'ont pas été enregistrées.
  10. Enfin, nous démarrons l'application Express, et elle commence à écouter sur le port spécifié. Un message s'affiche dans la console pour confirmer que le serveur est opérationnel.

Pour exécuter l'application, exécutez simplement la commande ci-dessous :

1
index de chignon.js

Le serveur est opérationnel :

serveur crawlbase

Ce code configure un serveur Web fonctionnel qui peut extraire les données des produits des résultats de recherche AliExpress en fonction de mots-clés définis par l'utilisateur. Il utilise la bibliothèque Crawlbase et Express pour fournir un point de terminaison API simple pour le scraping Web, rendant votre projet d'autant plus dynamique et interactif.

Maintenant, comment un utilisateur va-t-il saisir exactement les mots-clés ? Nous le découvrirons dans la prochaine section du blog.

V. Acceptation de mots-clés via Postman

Après avoir configuré notre serveur de scraping Web pour extraire les données des résultats de recherche AliExpress, il est temps de le tester à l'aide Facteur, un outil de test API populaire et intuitif.

Dans cette section, nous vous montrerons comment utiliser Postman pour envoyer des requêtes par mots clés à notre /scrape-products et recevez les données récupérées. Gardez à l'esprit que vous pouvez utiliser les mots-clés de votre choix pour ce test. Pour notre exemple, nous rechercherons « costumes d'Halloween » sur AliExpress.

  1. Ouvrir le Facteur : Si vous ne l'avez pas déjà fait, télécharger et installer Postman, et allumez-le.
  2. Sélectionnez le type de demande : Dans Postman, choisissez le type de requête HTTP que vous souhaitez effectuer. Dans notre cas, nous sélectionnerons « GET » puisque nous récupérons des données.
  3. Saisissez l'URL : Dans le champ URL, saisissez le point de terminaison de votre itinéraire de scraping. En supposant que votre serveur s'exécute localement sur le port 3000, cela ressemblerait à quelque chose comme http://localhost:3000/scrape-productsAssurez-vous d'ajuster l'URL en fonction de votre configuration.
rechercher des produits sur Aliexpress
  1. Ajouter des mots-clés comme paramètre de requête : Pour fournir des mots-clés pour votre recherche, vous les inclurez comme paramètres de requête. Dans Postman, vous pouvez ajouter ces paramètres à l'URL de la requête. Pour notre exemple, nous ajouterons keywords comme paramètre avec la valeur « costumes d'Halloween ». Dans l'URL, cela ressemblera à ceci : http://localhost:3000/scrape-products?keywords=Halloween%20costumes.
mots-clés comme paramètre de requête
  1. Envoyer la demande : Cliquez sur le bouton « Envoyer » dans Postman pour lancer votre requête. Votre serveur répondra en renvoyant les données récupérées.
envoyer une demande de scraping
  1. Voir la réponse : Postman affichera la réponse dans le panneau inférieur. Vous devriez voir les données extraites d'AliExpress, qui peuvent être au format JSON ou dans un autre format selon la configuration de votre serveur.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
{
  "des produits": [
    {
      « Titre »: "Costume de déguisement pour enfant, yeux rouges effrayants qui s'estompent et disparaissent, fantôme de la Faucheuse, qui brille dans le noir, cosplay, fête d'Halloween, carnaval",
      "prix": {
        "actuel": "12.96 €"
      },
      "url": "https://www.aliexpress.com/item/1005005690275912.html?algo_pvid=75293079-e13c-4c40-9e48-9607bc2bf4c5&algo_exp_id=75293079-e13c-4c40-9e48-9607bc2bf4c5-0&pdp_npi=4%40dis%21EUR%2139.57%2112.96%21%21%21298.19%21%21%402101eab016975503265842239eecf4%2112000034022392308%21sea%21EE%210%21AB&curPageLogUid=6KgfHocT5Ou1",
      "image": "https://ae04.alicdn.com/kf/H550b1b56986e4cb3a986071c5b7d3cb6x/Child-Creepy-Red-Eyes-Fade-In-And-Out-Phantom-Grim-Reaper-Glow-In-The-Dark-Costume.jpeg_220x220xz.jpeg_.webp",
      "message d'expédition": "Livraison gratuite à partir de 10€",
      "nombre de ventes": 600,
      "ratingValue": 4.9,
      "RatingLink": "",
      "Informations sur le vendeur": {
        "nom du magasin": "Magasin de costumes Memune",
        « Lien de magasin »: "https://www.aliexpress.com/store/1102649882"
      }
    },
    {
      « Titre »: "Costume de cosplay pour fille mercredi Addams à manches longues, fantaisie, printemps, automne, robes de fête, carnaval, Pâques, Halloween, costumes 4-12 ans",
      "prix": {
        "actuel": "0.48 €"
      },
      "url": "https :",
      "image": "https://ae04.alicdn.com/kf/H550b1b56986e4cb3a986071c5b7d3cb6x/Child-Creepy-Red-Eyes-Fade-In-And-Out-Phantom-Grim-Reaper-Glow-In-The-Dark-Costume.jpeg_220x220xz.jpeg_.webp",
      "message d'expédition": "Livraison gratuite à partir de 10€",
      "nombre de ventes": 1000,
      "ratingValue": 4.5,
      "RatingLink": "",
      "Informations sur le vendeur": {
        "nom du magasin": "Boutique Shop1103029270",
        « Lien de magasin »: "https://www.aliexpress.com/store/1103029270"
      }
    },
    {
      « Titre »: "Costumes effrayants d'Halloween avec masque, gants, crâne, squelette, monstre, diable, fantôme, vêtements, robe pour adultes et enfants",
      "prix": {
        "actuel": "0.48 €"
      },
      "url": "https :",
      "image": "https://ae04.alicdn.com/kf/Sca2e93c8cc404dad8f96188d46ca7be71/Wednesday-Addams-Cosplay-Girl-Costume-Long-Sleeve-Fantasy-Spring-Autumn-Party-Dresses-Carnival-Easter-Halloween-Costumes.jpg_220x220xz.jpg_.webp",
      "message d'expédition": "Livraison gratuite à partir de 10€",
      "nombre de ventes": 700,
      "ratingValue": 4,
      "RatingLink": "",
      "Informations sur le vendeur": {
        "nom du magasin": "Boutique Shop1102854162",
        « Lien de magasin »: "https://www.aliexpress.com/store/1102854162"
      }
    },
    {
      « Titre »: "Costumes de film Marvel pour enfants, costumes de super-héros Spiderman pour garçons et filles, pour carnaval, Halloween, fête",
      "prix": {
        "actuel": "4.31 €"
      },
      "url": "https :",
      "image": "https://ae04.alicdn.com/kf/Sb650edf7a99e4d4dacc1bba333f7a0a3T/Halloween-Scary-Costumes-With-Mask-Gloves-Skull-Skeleton-Monster-Devil-Ghost-Clothes-Robe-For-Adult-Kids.jpg_220x220xz.jpg_.webp",
      "message d'expédition": "Livraison gratuite à partir de 10€",
      "nombre de ventes": 1000,
      "ratingValue": 4.8,
      "RatingLink": "",
      "Informations sur le vendeur": {
        "nom du magasin": « Magasin de planètes animées »,
        « Lien de magasin »: "https://www.aliexpress.com/store/1102884865"
      }
    },
    {
      « Titre »: "Costume gonflable ET-Aliens, monstre effrayant, cosplay pour adultes et enfants, fête de Thanksgiving, Noël, festival, scène, vêtements pour enfants",
      "prix": {
        "actuel": "17.94 €"
      },
      "url": "https :",
      "image": "https://ae04.alicdn.com/kf/S0a706403723046bd951347d36955efe0v/Kids-Cosplay-Movie-Muscle-Marvel-Costumes-Boys-Girl-Spiderman-Superhero-Body-Suits-for-Carnival-Halloween-Costumes.jpg_220x220xz.jpg_.webp",
      "message d'expédition": "Livraison gratuite à partir de 10€",
      "nombre de ventes": 2000,
      "ratingValue": 4.8,
      "RatingLink": "",
      "Informations sur le vendeur": {
        "nom du magasin": « Meilleur magasin de costumes »,
        « Lien de magasin »: "https://www.aliexpress.com/store/1102661276"
      }
    },
    {
      « Titre »: "Costume de cosplay Addams du mercredi pour fille 2023 Nouveaux vêtements pour enfants Carnaval Pâques Halloween Costumes de fête pour 3-12 ans Chaud",
      "prix": {
        "actuel": "21.94 €"
      },
      "url": "https :",
      "image": "https://ae04.alicdn.com/kf/S4cbfda36b907494d8ecde33b5d278552J/ET-Aliens-Inflatable-Costume-Scary-Monster-Cosplay-For-Adult-Kids-Thanksgiving-Christmas-Party-Festival-Stage-Children.jpg_220x220xz.jpg_.webp",
      "message d'expédition": "Livraison gratuite à partir de 10€",
      "nombre de ventes": 5000,
      "ratingValue": 4.6,
      "RatingLink": "",
      "Informations sur le vendeur": {
        "nom du magasin": "Boutique YOFEEL",
        « Lien de magasin »: "https://www.aliexpress.com/store/1102520815"
      }
    },
    {
      « Titre »: "Costume de déguisement effrayant pour enfant, déguisement de la Faucheuse, fantôme, brille dans le noir, pour fête à thème d'Halloween",
      "prix": {
        "actuel": "12.16 €"
      },
      "url": "https :",
      "image": "https://ae04.alicdn.com/kf/S664d37c24b96431c888bd0f5b6f0eb686/Wednesday-Addams-Cosplay-For-Girl-Costume-2023-New-Vestidos-For-Kids-Carnival-Easter-Halloween-Party-Costumes.jpg_220x220xz.jpg_.webp",
      "message d'expédition": "Livraison gratuite à partir de 10€",
      "nombre de ventes": 279,
      "ratingValue": 4.9,
      "RatingLink": "",
      "Informations sur le vendeur": {
        "nom du magasin": "Magasin de costumes Memune",
        « Lien de magasin »: "https://www.aliexpress.com/store/1102649882"
      }
    },
    {
      « Titre »: "Costume de peau de fantôme d'Halloween Costume de faucheuse Collants de squelette effrayants Costume de body de démon d'ombre pour enfants Déguisement de fête",
      "prix": {
        "actuel": "5.1 €"
      },
      "url": "https :",
      "image": "https://ae04.alicdn.com/kf/S75de442a4e194c34b8c0048fe0fddafao/Child-Glow-In-The-Dark-Grim-Reaper-Phantom-Scary-Kids-Fancy-Dress-Costume-Halloween-Theme-Party.jpg_220x220xz.jpg_.webp",
      "message d'expédition": "Livraison gratuite à partir de 10€",
      "nombre de ventes": 500,
      "ratingValue": 4.7,
      "RatingLink": "",
      "Informations sur le vendeur": {
        "nom du magasin": « Magasin de planètes animées »,
        « Lien de magasin »: "https://www.aliexpress.com/store/1102884865"
      }
    },
    {
      « Titre »: "Robe du mercredi pour fille de 2 à 12 ans, costume de princesse à manches longues pour Halloween, printemps, automne, tenues décontractées quotidiennes pour enfants",
      "prix": {
        "actuel": "6.46 €"
      },
      "url": "https :",
      "image": "https://ae04.alicdn.com/kf/S315f46af94e44b70af60867c608881baQ/Halloween-Ghost-Skin-Costume-Grim-Reaper-Costume-Scary-Skeleton-Tights-Shadow-Demon-Bodysuit-Costume-for-Kids.jpg_220x220xz.jpg_.webp",
      "message d'expédition": "",
      "nombre de ventes": 900,
      "ratingValue": 4.4,
      "RatingLink": "",
      "Informations sur le vendeur": {
        "nom du magasin": « Magasin CYD Mart »,
        « Lien de magasin »: "https://www.aliexpress.com/store/1102771911"
      }
    },
    {
      « Titre »: "Costume d'Halloween pour nouveau-né, barboteuse + chapeau + chaussettes, ensemble de vêtements pour bébé, costume d'Halloween pour bébé fille et garçon, combinaison mignonne en forme de citrouille",
      "prix": {
        "actuel": "6.9 €"
      },
      "url": "https :",
      "image": "https://ae04.alicdn.com/kf/S00754ee80f6947ada0531000241dc0a7q/Wednesday-Dress-For-Girl-2-12-Yrs-Halloween-Long-Sleeve-Princess-Costume-Spring-Autumn-Kids-Daily.jpg_220x220xz.jpg_.webp",
      "message d'expédition": "Livraison gratuite à partir de 10€",
      "nombre de ventes": 178,
      "ratingValue": 4.9,
      "RatingLink": "",
      "Informations sur le vendeur": {
        "nom du magasin": « Boutique GeForest »,
        « Lien de magasin »: "https://www.aliexpress.com/store/5380138"
      }
    }
  ],
  "Recherches associées": [],
  « Catégories associées »: [
    {
      « Titre »: «Nouveauté et utilisation spéciale»,
      "lien": "https :"
    },
    {
      « Titre »: « Mère et enfants »,
      "lien": "https :"
    },
    {
      « Titre »: "Maison et jardin",
      "lien": "https :"
    },
    {
      « Titre »: « Jouets et loisirs »,
      "lien": "https :"
    }
  ]
}

Et voilà ! Vous avez utilisé Postman avec succès pour envoyer des mots-clés à votre serveur de scraping Web et avez reçu les données extraites en réponse. N'oubliez pas que vous pouvez remplacer « costumes d'Halloween » par n'importe quel mot-clé que vous souhaitez rechercher sur AliExpress. Ce processus démontre la nature dynamique de votre application de scraping Web, la rendant adaptable à diverses requêtes de recherche.

VI. Sauvegarde des données au format JSON

Au cours de notre parcours de récupération des résultats de recherche AliExpress jusqu'à présent, nous avons réussi à configurer notre serveur de récupération Web et à le tester avec divers mots-clés à l'aide de Postman. Il est maintenant temps d'améliorer davantage notre projet en ajoutant une fonctionnalité permettant d'enregistrer les données récupérées dans un fichier JSON. Cette étape est incroyablement précieuse car elle vous permet de stocker et d'analyser ultérieurement les données que vous avez extraites.

Nous avons introduit un ajout crucial à la /scrape-products route dans notre code. Cet ajout garantit que les données que nous récupérons ne sont pas simplement envoyées en réponse, mais également enregistrées dans un fichier JSON structuré. Évaluons le code.

1
2
// Sauvegarde des produits récupérés dans un fichier JSON
fs.écrireFileSync('AliExpressProducts.json', JSON.stringifier({ scrapeProducts }, nul, 2));
  • Nous utilisons le module fs, que nous avons importé précédemment, pour écrire des données dans un fichier. Dans ce cas, nous créons un nouveau fichier nommé « AliexpressProducts.json » dans le répertoire de travail actuel.
  • JSON.stringify({ scrapeProducts }, null, 2) convertit nos données récupérées (dans le scrapeProducts variable) dans une chaîne au format JSON. Les arguments null, 2 servent à l'impression soignée, ce qui ajoute une indentation pour une meilleure lisibilité.
  • La série fs.writeFileSync la méthode écrit ensuite cette chaîne JSON dans le fichier spécifié.

Ci-dessous le code complet de notre projet :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
const exprimer = exigent('exprimer'); // Importer le module 'express'
const { API d'exploration } = exigent('base d'exploration'); // Importez le module 'crwalbase' pour Crawling API
const fs = exigent(« fs »); // Importer le module 'fs'
// Initialisation de Crawlbase Crawling API pour explorer le HTML
const API = nouvelle API d'exploration({ jeton: Jeton « Crawlbase_JS » }); // Remplacez-le par votre jeton JS Crawlbase
// application principale
const application = express();
const PORT = processus.env.PORT || 3000;
app.obtenez('/produits-de-grattage', async (req, res) => {
  Essai {
    const réponse = attendre apiobtenez(
      `https://aliexpress.com/w/wholesale-${req.query.keywords.split('').rejoindre(«-»)}.html`,
      {
        grattoir: 'aliexpress-serp',
      },
    );
    if (réponse.code d'état === 200) {
      const scrapeProducts = réponse.json.corps;
      console.enregistrer(« Produits de grattage : », produits de grattage);
      // Sauvegarde des produits récupérés dans un fichier JSON
      fs.écrireFileSync('AliExpressProducts.json', JSON.stringifier({ scrapeProducts }, nul, 2));
      // Réponse avec du JSON récupéré
      res.statuts(200).envoyer(produits de grattage);
    } d'autre {
      renversement nouvelle Erreur(`La demande d'API a échoué avec le statut : ${response.statusCode}`);
    }
  } capture (erreur) {
    console.erreur(`L'appel d'API a échoué : ${message.d'erreur}`);
    retourner res.statuts(500).envoyer({ statuts: 'Échoué', msg: « Données non enregistrées » });
  }
});
app.écouter(PORT, () => console.enregistrer(`Le serveur est en cours d'exécution sur le port ${PORT}`));

Grâce à cet ajout, les données extraites seront non seulement disponibles dans des réponses en temps réel, mais également stockées dans un fichier JSON structuré pour une utilisation ultérieure. Il s'agit d'une étape cruciale pour vous assurer de pouvoir analyser, traiter et visualiser efficacement les données que vous collectez sur AliExpress.

VII. Conclusion

L'un des aspects remarquables du code que nous avons parcouru est qu'il n'est pas uniquement destiné à des fins de démonstration : il est conçu pour que vous puissiez le copier, le coller et l'adapter à vos propres projets de scraping Web. Que vous récupériez des données sur AliExpress ou que vous exploriez d'autres projets de scraping Web, ce code peut servir de base solide.

Voici quelques points clés à considérer :

Accessibilité: Le code est facilement accessible et vous pouvez le copier sans aucune restriction.

Adaptabilité: N'hésitez pas à modifier le code pour l'adapter à votre cas d'utilisation spécifique. Vous souhaitez extraire des données d'un autre site Web ? Vous pouvez modifier l'URL et ajuster la logique de récupération en conséquence.

Flexibilité des mots clés : Nous avons utilisé « costumes d'Halloween » comme exemple, mais vous pouvez le remplacer par n'importe quel mot clé de recherche correspondant à vos besoins. Cette flexibilité vous permet de cibler n'importe quel produit ou contenu qui vous intéresse.

Stockage de données: Le code inclut des fonctionnalités pour stocker les données récupérées dans un fichier JSON. Vous pouvez personnaliser le nom du fichier, le format ou l'emplacement de stockage en fonction de vos préférences.

Intégration: Ce code peut être intégré à vos projets existants ou utilisé comme une application de scraping Web autonome. Il est polyvalent et adaptable à vos besoins.

Apprentissage et exploration : Même si vous êtes novice en matière de scraping Web, ce code sert d'outil pédagogique. En l'examinant et en l'expérimentant, vous pouvez obtenir des informations précieuses sur les techniques de scraping Web.

Si vous souhaitez apprendre à Scraper Aliexpress en utilisant Python, voici un guide complet pour vous :

(I.e. Scraper AliExpress avec Python
Et avant de partir, je vous laisse quelques liens pour que vous puissiez lire et exceller dans le scraping de données.

(I.e. Comment extraire les pages de recherche d'Amazon
(I.e. Comment récupérer les pages de recherche de Walmart

De plus, pour d'autres guides de scraping de commerce électronique, consultez nos tutoriels sur le scraping de données de produits à partir de Walmart, eBay et Amazon.

Alors, allez-y, copiez le code, expérimentez-le et adaptez-le à vos besoins spécifiques. C'est votre passerelle vers le monde du scraping Web, et les possibilités ne sont limitées que par votre imagination. Que vous recherchiez des données de commerce électronique, des recherches ou tout autre projet axé sur les données, ce code peut être votre point de départ fiable.

Amusez-vous à gratter cet Halloween !

VIII. Questions fréquemment posées

Q. Pourquoi choisir AliExpress comme source de données pour le web scraping ?

AliExpress est un candidat de choix pour le scraping Web car il s'agit de l'une des plus grandes plateformes de commerce électronique au monde, offrant une gamme vaste et diversifiée de produits provenant de nombreux vendeurs. Il existe plusieurs raisons convaincantes de choisir AliExpress, dont voici quelques-unes :

1. Grande variété de produits : AliExpress propose une gamme impressionnante de produits, allant de l'électronique à la mode, en passant par les articles pour la maison et bien plus encore. Cette diversité en fait une source idéale pour les études de marché et les analyses de produits.

2. Informations sur la concurrence : En supprimant AliExpress, les entreprises peuvent obtenir des informations précieuses sur les tendances du marché, les produits populaires, les stratégies de tarification et la concurrence, permettant ainsi une prise de décision éclairée.

3. Données sur les prix : AliExpress propose souvent des prix compétitifs, et l'extraction de ces données peut aider les entreprises à élaborer des stratégies de tarification et à rester compétitives sur le marché.

4. Informations sur le fournisseur : Les entreprises peuvent utiliser des données extraites pour identifier des fournisseurs potentiels et évaluer leur fiabilité, la qualité de leurs produits et leurs prix.

5. Avis et évaluations des utilisateurs : AliExpress contient une multitude d'avis et d'évaluations générés par les utilisateurs. L'extraction de ces informations fournit des informations sur la qualité des produits et la satisfaction des clients.

6. Images du produit : Le scraping d'images de produits peut être bénéfique pour les entreprises de commerce électronique dans la création de catalogues de produits et de supports marketing.

En résumé, AliExpress offre une abondance de données qui peuvent être inestimables pour les entreprises de commerce électronique, ce qui en fait un choix de premier ordre pour le scraping Web afin d'obtenir un avantage concurrentiel et de prendre des décisions commerciales éclairées.

Q. Comment puis-je garantir la confidentialité et la sécurité des données lors du scraping Web AliExpress avec l'API Crawlbase ?

Le framework riche en fonctionnalités de Crawlbase s'occupe de confidentialité des données et la sécurité lors du scraping Web AliExpress. Il garantit votre anonymat grâce à des proxys rotatifs, à la personnalisation de l'agent utilisateur et à la gestion des sessions. Algorithmes avancés gérer les CAPTCHA, optimisant les taux de scraping pour éviter les surcharges du serveur et s'adaptant aux mesures de sécurité en constante évolution, en maintenant un niveau élevé de confidentialité et de sécurité. Avec Crawlbase, votre scraping sur AliExpress est à la fois sécurisé et privé, vous permettant de vous concentrer sur vos objectifs tout en restant anonyme et conforme aux pratiques de scraping éthiques.

Q. Quelles sont les applications concrètes du web scraping sur AliExpress ?

Le scraping Web d'AliExpress présente de nombreuses applications pratiques dans le monde réel. Voici quelques exemples de la manière dont les entreprises peuvent utiliser les données obtenues sur AliExpress :

  1. Étude de marché: Le Web scraping permet aux entreprises de recueillir des informations sur les produits tendance, les stratégies de tarification et les préférences des clients. Ces données sont essentielles pour mener des études de marché et prendre des décisions éclairées sur les offres de produits et les prix.

  2. Analyse de la concurrence: L'extraction de données sur AliExpress permet aux entreprises de surveiller les prix, les listes de produits et les avis des clients de leurs concurrents. Cette veille concurrentielle aide les entreprises à ajuster leurs stratégies pour obtenir un avantage sur le marché.

  3. Comparaison de prix: Les entreprises peuvent utiliser les données récupérées pour comparer les prix des produits sur AliExpress avec leurs propres offres. Cela permet d'ajuster les stratégies de tarification pour rester compétitif.

  4. SEO et mots clés : L'extraction de mots-clés et de termes de recherche populaires d'AliExpress peut aide à l'optimisation des stratégies SEO, garantissant que les produits sont facilement détectables sur les moteurs de recherche.

  5. Identification des tendances : Le Web scraping peut être utilisé pour identifier les tendances émergentes et les catégories de produits populaires, permettant aux entreprises d'aligner leurs offres sur la demande du marché.

  6. Campagnes marketing : Les données d'AliExpress peuvent éclairer le développement de campagnes marketing, en ciblant les produits actuellement en demande et en alignant les promotions sur les tendances saisonnières.

  7. Développement de produit L’analyse des commentaires et des préférences des clients peut guider le développement de nouveaux produits ou l’amélioration des produits existants.

Ce ne sont là que quelques applications concrètes du web scraping sur AliExpress, et les entreprises de divers secteurs peuvent utiliser ces données pour améliorer la prise de décision, renforcer leur compétitivité et rationaliser leurs opérations.

Q. Où puis-je trouver des ressources ou une assistance supplémentaires pour le scraping Web et l'utilisation de l'API Crawlbase ?

Crawlbase propose une multitude de ressources supplémentaires pour soutenir vos efforts de scraping Web et pour tirer le meilleur parti de l'API Crawlbase. Pour plus d'exemples, de cas d'utilisation et d'informations détaillées, nous vous recommandons de parcourir le site Web de Crawlbase. Pole de connaissances page. Vous y découvrirez une précieuse collection de contenus et de guides pour améliorer vos compétences en matière de scraping Web et maximiser le potentiel de l'API Crawlbase. C'est une ressource précieuse pour élargir vos connaissances et vous assurer que vous êtes bien équipé pour des projets de scraping Web réussis.