L'App Store d'Apple est une plateforme numérique où les utilisateurs peuvent parcourir, télécharger et configurer des applications sur leurs appareils Apple, notamment les iPhone et les iPad. Il propose des millions d'applications, allant des jeux abrutissants aux applications de productivité, en passant par d'autres divertissements qui nous tiennent rivés à nos écrans.

Si vous développez vous-même des applications, souhaitez commercialiser un produit ou étudiez simplement les tendances du marché, les informations de l'App Store peuvent s'avérer très utiles. L'essentiel est de bien configurer votre approche de scraping afin de transformer toutes les données en éléments qui vous aideront à prendre des décisions plus éclairées.

Dans ce blog, nous vous montrerons comment explorer et extraire les données de l'App Store d'Apple à l'aide de Crawlbase's Crawling API et JavaScript. Cette combinaison fonctionne étonnamment bien pour recueillir des informations telles que le classement des applications, les promesses de leurs descriptions et les avis des utilisateurs.

Comment récupérer les données de l'App Store d'Apple ?

Notre première étape consiste à créer un compte avec Crawlbase, ce qui nous permettra d'utiliser le Crawling API et servir de plate-forme pour récupérer de manière fiable des données depuis l'App Store.

Création d'un Crawlbase Compte

  1. Inscrivez-vous pour Crawlbase Compte et connectez-vous.
  2. Une fois inscrit, vous recevrez 1,000 XNUMX demandes gratuites. Ajoutez vos informations de facturation avant d'utiliser l'un des crédits gratuits pour obtenir 9,000 XNUMX demandes supplémentaires.
  3. Accédez à votre Documents du compte et enregistrez votre jeton de demande normale pour les besoins de ce blog.

Configuration de l'environnement

Ensuite, assurez-vous que Node.js est installé sur votre appareil, car il constitue l'épine dorsale de notre script de scraping, offrant une exécution JavaScript rapide et un accès aux bibliothèques essentielles.

Installation de Node sur Windows :

  1. Rendez-vous dans la section site officiel de Node.js et téléchargez la version Long-Term Support (LTS) pour Windows.
  2. Lancez le programme d'installation et suivez les instructions. Laissez les options par défaut sélectionnées.
  3. Vérifiez l’installation en ouvrant une nouvelle invite de commande et en exécutant les commandes suivantes :
1
2
noeud -v
npm -v

Pour macOS:

  1. Allez dans [https://nodejs.org](https://nodejs.org/) et téléchargez le programme d'installation de macOS (LTS).
  2. Suivez l'assistant d'installation.
  3. Ouvrez le Terminal et confirmez l'installation :
1
2
noeud -v
npm -v

Pour Linux (Ubuntu/Debian) :

  1. Ouvrez votre terminal pour ajouter le référentiel NodeSource et installer Node.js :
1
2
curl -fsSL https://deb.nodesource.com/setup_lts.x | sudo -E bash -
sudo apt-get installer -y nodejs
  1. Vérifiez votre installation :
1
2
noeud -v
npm -v

Récupérer le script

Prenez le script ci-dessous et enregistrez-le avec un .js extension, toute IDE ou un environnement de développement que vous aimez fera l'affaire. Une fois enregistré, vérifiez que toutes les dépendances nécessaires sont installées dans votre configuration Node.js. Vous devriez alors être prêt.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
importer { API d'exploration } à partir de 'base d'exploration';

const CRAWLBase_NORMAL_TOKEN = ' ';
const URL = 'https://apps.apple.com/us/app/google-authenticator/id388497605';

async fonction crawlAppStore() {
  const API = nouvelle API d'exploration({ jeton: CRAWLBase_NORMAL_TOKEN });
  const choix = {
    agent utilisateur: « Mozilla/5.0 (Windows NT 6.2 ; rv:20.0) Gecko/20121202 Firefox/30.0 »,
  };

  const réponse = attendre apiobtenez(URL, options);

  if (réponse.code d'état ! == 200) {
    renversement nouvelle Erreur(`La demande a échoué avec le code d'état : ${response.statusCode}`);
  }

  retourner réponse.corps;
}

IMPORTANT: Assurez-vous de remplacer <Normal requests token> avec votre réel Crawlbase jeton de demande normal avant d'exécuter le script.

Ce script montre comment utiliser Crawlbase's Crawling API pour récupérer le contenu HTML du App Store d'Apple Sans blocage. Notez que la réponse n'a pas encore été récupérée. Nous devons encore supprimer les éléments inutiles, nettoyer les données et produire une réponse analysée et structurée.

Localisation de sélecteurs CSS spécifiques

Maintenant que vous comprenez comment envoyer une requête API simple à l'aide de Node.js, localisons les données dont nous avons besoin à partir de notre URL cible afin de pouvoir ensuite écrire du code pour les nettoyer et les analyser.

La première chose que vous remarquerez est la section principale en haut. C'est généralement là que se trouvent les informations les plus importantes et elle est généralement bien structurée, ce qui en fait une cible idéale pour le scraping.

Ouvrez votre URL cible et localisez chaque sélecteur. Par exemple, recherchons le titre :

Une image des outils de développement du navigateur Chrome avec l'élément d'en-tête de contenu mis en évidence.

Prenez note de la .app-header__title et faire de même pour subtitle, seller, category, stars, ratingbauen price. Une fois cela fait, cette section est complète.

Le processus est quasiment identique pour le reste de la page. Voici un autre exemple : si vous souhaitez inclure la note moyenne du client dans la section « Notes et avis », faites un clic droit sur les données et sélectionnez « Inspecter ».

Une image des outils de développement du navigateur Chrome mettant en évidence l'élément de classification du contenu.

Vous connaissez l'essentiel. Trouver les données restantes dont vous avez besoin devrait maintenant être un jeu d'enfant.

Analyse du HTML dans Node.js

Maintenant que vous maîtrisez l'extraction des sélecteurs CSS, il est temps de créer le code pour analyser le code HTML. C'est ici que ça se passe. Tchao entre en jeu. C'est une bibliothèque légère et puissante qui nous permet de sélectionner des données pertinentes à partir du code source HTML dans Node.js.

Commencez par créer votre dossier de projet et exécutez :

1
2
npm init -y
npm installer crawlbase lodash casenator cheerio

Importer les bibliothèques requises

Puis dans votre .js fichier, importez les bibliothèques requises pour ce projet, y compris Cheerio:

1
2
3
4
importer _ à partir de 'lodash';
importer { API d'exploration } à partir de 'base d'exploration';
importer { toCamelCase } à partir de 'casénateur';
importer * as cheerio à partir de 'salut';

N'oubliez pas de configurer le Crawling API ainsi que le site Web cible :

1
2
const CRAWLBase_NORMAL_TOKEN = ' ';
const URL = 'https://apps.apple.com/us/app/google-authenticator/id388497605';

Fonctions de récupération des données de l'Apple Store

C'est ici que nous utiliserons les sélecteurs CSS collectés précédemment. Écrivons la partie du code qui extrait les informations de la page App Store.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
fonction scrapePrimaryAppDetails($) {
  laisser titre = $('.app-header__title').texte()réduire();
  const titreBadge = $('.badge--titre-du-produit').texte()réduire();
  titre = titre.remplacer(titreBadge, '').réduire();
  const sous-titre = $('.app-header__subtitle').texte()réduire();
  const vendeur = $('.app-header__identity').texte()réduire();
  laisser catégorie = nul;
  Essai {
    catégorie = $('.product-header__list__item a.inline-list__item').texte()réduire()scission('dans')[1].réduire();
  } capture {
    catégorie = nul;
  }
  const étoiles = $('.we-star-rating').attribut('étiquette-aria');
  const note = $('.nous-évaluons-compte').texte()réduire()scission('•')[1].réduire();
  const prix = $('.app-header__list__item--prix').texte()réduire();

  retourner { titre, sous-titre, vendeur, catégorie, étoiles, note, prix };
}

De cette façon, il extraira le titre, le sous-titre, le vendeur, la catégorie, la note par étoiles, les notes globales et le prix.

À partir de là, vous pouvez ajouter des fonctionnalités supplémentaires pour chaque section de la page. Vous pouvez ajouter l'image d'aperçu et la description, ainsi que les avis des utilisateurs, etc.

Combinez tout dans une seule fonction

Une fois le scraper terminé, nous devons tout combiner dans une seule fonction et imprimer le résultat :

1
2
3
4
5
6
7
8
9
10
fonction gratter l'AppStore(html) {
  const $ = Santé.charge(html);
  retourner {
    Détails de l'application principale: scrapePrimaryAppDetails($),
    Aperçu et description de l'application: scrapeAppPreviewAndDescription($),
    notes et avis: { Avis Client: gratter les notes et les avis($) },
    Section d'information: Section d'informations sur les déchets($),
    Applications et recommandations associées: scrapeRelatedAppsAndRecommendations($),
  };
}

Code complet pour récupérer les données de l'App Store d'Apple

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
importer _ à partir de 'lodash';
importer { API d'exploration } à partir de 'base d'exploration';
importer { toCamelCase } à partir de 'casénateur';
importer * as cheerio à partir de 'salut';

const CRAWLBase_NORMAL_TOKEN = ' ';
const URL = 'https://apps.apple.com/us/app/google-authenticator/id388497605';

async fonction crawlAppStore() {
  const API = nouvelle API d'exploration({ jeton: CRAWLBase_NORMAL_TOKEN });
  const choix = {
    agent utilisateur: « Mozilla/5.0 (Windows NT 6.2 ; rv:20.0) Gecko/20121202 Firefox/30.0 »,
  };

  const réponse = attendre apiobtenez(URL, options);

  if (réponse.code d'état ! == 200) {
    renversement nouvelle Erreur(`La demande a échoué avec le code d'état : ${response.statusCode}`);
  }
  retourner réponse.corps;
}

fonction scrapePrimaryAppDetails($) {
  laisser titre = $('.app-header__title').texte()réduire();
  const titreBadge = $('.badge--titre-du-produit').texte()réduire();
  titre = titre.remplacer(titreBadge, '').réduire();
  const sous-titre = $('.app-header__subtitle').texte()réduire();
  const vendeur = $('.app-header__identity').texte()réduire();
  laisser catégorie = nul;
  Essai {
    catégorie = $('.product-header__list__item a.inline-list__item').texte()réduire()scission('dans')[1].réduire();
  } capture {
    catégorie = nul;
  }
  const étoiles = $('.we-star-rating').attribut('étiquette-aria');
  const note = $('.nous-évaluons-compte').texte()réduire()scission('•')[1].réduire();
  const prix = $('.app-header__list__item--prix').texte()réduire();

  retourner { titre, sous-titre, vendeur, catégorie, étoiles, note, prix };
}

fonction scrapeAppPreviewAndDescription($) {
  const sources = $('la source').àArray();
  const imageUrl =
    sources
      .plan((un élément) => $(élément).attribut('srcset'))
      .une fonction filtre((srcset) => srcset)
      .plan((srcset) => ensemble de sources.scission(',')[0].réduire()scission('')[0])
      .trouver((url) => URL) || nul;
  laisser Description de l'application = $('.section__description').texte()réduire();
  Description de l'application = Description de l'application.remplacer(/^Description\s*/, '');

  retourner { imageUrl, appDescription };
}

fonction gratter les notes et les avis($) {
  const avis = [];
  $('.nous-avis-client').chacun((indice, élément) => {
    const étoiles = $(élément).trouver('.we-star-rating').attribut('étiquette-aria');
    const reviewerName = $(élément).trouver('.we-customer-review__user').texte()réduire();
    const reviewTitle = $(élément).trouver('.we-customer-review__title').texte()réduire();
    const fullReviewText = $(élément).trouver('.we-customer-review__body').texte()réduire();
    const reviewDate = $(élément).trouver('.we-customer-review__date').attribut('dateheure');
    avis.pousser({ étoiles, nom du réviseur, titre de la critique, texte de la critique complète, date de la critique });
  });

  retourner Commentaires;
}

fonction Section d'informations sur les déchets($) {
  const informations = {};
  $('dl.information-list dt').chacun((indice, élément) => {
    const clé = $(élément).texte()réduire();
    const valeur = $(élément).next('dd').texte()réduire();
    if (clé && valeur) {
      const camelKey = à CamelCase(clé);
      if (camelKey === « langues ») {
        information[camelKey] = _.uniq(valeur.scission(',').plan((Articles) => article.réduire())).sort();
      } d'autre if (camelKey === 'compatibilité') {
        information[camelKey] = _.uniq(
          La valeur
            .scission('\n')
            .plan((Articles) => article.réduire())
            .une fonction filtre((Articles) => article),
        ).sort();
      } d'autre {
        information[camelKey] = valeur ;
      }
    }
  });

  retourner information;
}

fonction scrapeRelatedAppsAndRecommendations($) {
  fonction extraireAppsFromSection(titreTexte) {
    const résultats = [];
    $('h2.section__headline').chacun((indice, élément) => {
      const currentHeadlineText = $(élément).texte()réduire();
      if (texte du titre actuel === texte du titre) {
        const parent = $(élément).mère();
        const nextSibling = parent.next();
        prochain frère ou sœur.trouver('a.we-lockup--in-app-shelf').chacun((appIndex, appElement) => {
          const Titre de l'application = $(élément de l'application).trouver('.we-lockup__title').texte()réduire();
          const appUrl = $(appElement).attribut('href');
          if (titre de l'application et URL de l'application) {
            résultats.pousser({
              titre: titre de l'application,
              url: appUrl,
            });
          }
        });
      }
    });

    retourner résultats;
  }

  retourner {
    développeurApps: extraireAppsFromSection(« Plus de ce développeur »),
    applications associées: extraireAppsFromSection(« Vous pourriez également aimer »),
  };
}

fonction gratter l'AppStore(html) {
  const $ = Santé.charge(html);
  const données = {
    Détails de l'application principale: {
      ...scrapePrimaryAppDetails($),
    },
    Aperçu et description de l'application: {
      ...scrapeAppPreviewAndDescription($),
    },
    notes et avis: {
      Avis Client: gratter les notes et les avis($),
    },
    Section d'information: {
      ...Section d'informations sur les déchets($),
    },
    Applications et recommandations associées: {
      ...scrapeRelatedAppsAndRecommendations($),
    },
  };

  retourner la date;
}

const html = attendre crawlAppStore();
const données = gratter l'AppStore(html);
console.enregistrer(JSON.stringifier(données, nul, 2));

Et lorsque vous exécutez votre script :

1
npm exécuter l'exploration

Vous verrez le résultat dans cette structure :

Une image affichant une sortie JSON structurée obtenue à partir du scraping de l'App Store d'Apple.

Cette structure organisée fournit une base solide pour des analyses, des rapports ou des visualisations plus poussées, quel que soit votre objectif final.

Jetez un coup d'œil au code complet dans notre dépôt GitHub pour ce blog.

Récupérez les données de l'Apple Store avec Crawlbase

L'analyse de l'App Store d'Apple peut fournir des informations précieuses sur la présentation des applications, les réactions des utilisateurs et les performances des concurrents. Crawlbase et un analyseur HTML solide comme Cheerio, vous pouvez automatiser l'extraction des données Apple et les transformer en quelque chose d'exploitable.

Pour suivre les avis, comparer les prix ou simplement explorer l'écosystème des applications, cette configuration peut vous faire gagner du temps et des efforts tout en fournissant les données dont vous avez besoin.

Commencez votre prochain projet de scraping maintenant avec CrawlbaseSmart AI Proxy et Crawling API pour éviter d'être bloqué !

Foire aux questions

Q : Puis-je récupérer n’importe quelle application sur l’App Store ?

R. Oui, à condition de disposer de l'URL publique de l'application. Apple ne fournit pas d'index public complet ; vous devrez donc créer votre liste ou collecter des liens depuis d'autres sources.

A. Il est généralement acceptable de récupérer des données publiques à des fins de recherche ou d'usage personnel, mais assurez-vous que votre utilisation est conforme aux Conditions d'utilisation d'AppleÉvitez le grattage excessif et les restrictions d’utilisation.

Q. Que se passe-t-il si je suis bloqué ou limité en débit ?

A. Si trop de requêtes proviennent de la même adresse IP, ou si le comportement semble automatisé, les sites web de scraping peuvent être bloqués ou leurs débits limités. Pour éviter ce genre de problème, vous pouvez utiliser Crawlbase's Crawling API et Smart AI Proxy. Ils incluent des fonctionnalités antiblocage comme la géolocalisation et la rotation IP, qui réduisent considérablement les risques de blocage et permettent une collecte de données plus précise.