Vous souhaitez découvrir les informations cachées dans la vaste base de données de produits d'Amazon ? Si tel est le cas, vous êtes au bon endroit. Dans ce guide étape par étape d'Amazon grattage de données Dans ce guide, nous vous expliquerons comment extraire les données produits Amazon et exploiter leur potentiel pour la croissance de votre entreprise. Nous aborderons tous les aspects, de l'importance des données produits à la gestion des CAPTCHA et aux mesures anti-scraping. Alors, prenez vos outils et plongez dans l'univers du scraping de données Amazon.

Nous utiliserons Crawlbase Crawling API aux côtés de JavaScript pour extraire efficacement les données d'Amazon. Les capacités dynamiques de JavaScript pour interagir avec les éléments Web, associées aux mécanismes anti-scraping de l'API, garantissent un processus transparent de collecte de données. Le résultat final sera une richesse de données sur les produits Amazon, soigneusement organisées aux formats HTML et JSON.

Prêt à commencer? Inscrivez-vous Crawlbase — vos 1,000 XNUMX premières demandes sont entièrement gratuites.

Si vous recherchez une solution prête à l'emploi, consultez notre Grattoir Amazon outil.

Table des Matières

Comment scraper Amazon avec Python (tutoriel de code)

Étape 1 : Inscrivez-vous pour Crawlbase et obtenez votre jeton privé. Vous pouvez obtenir ce jeton à partir du Crawlbase documentation de compte section dans votre compte.

Crawlbase page de documentation du compte

Étape 2 : Choisissez la page produit Amazon spécifique que vous souhaitez récupérer. Pour cela, nous avons choisi la page produit Amazon pour Casque de sport sans fil PHILIPS A4216Il est essentiel de sélectionner une page produit avec différents éléments pour mettre en valeur la polyvalence du processus de scraping.

Page produit Amazon

Étape 3 : Installez l' Crawlbase bibliothèque node.js.

Tout d'abord, confirmez que Node.js est installé sur votre système. Si ce n'est pas le cas, vous pouvez le télécharger et l'installer à partir de ici, puis procédez à l'installation du Crawlbase Bibliothèque Node.js via NPM :

npm i crawlbase

Étape 4 : Créez le fichier amazon-product-page-scraper.js en utilisant la commande ci-dessous :

touch amazon-product-page-scraper.js

Étape 5 : Configurer le Crawlbase Crawling API. Cela implique la mise en place des éléments nécessaires paramètres et les points de terminaison pour que l'API fonctionne. Collez le script suivant dans le fichier amazon-product-page-scraper.js que vous avez créé à l'étape 4. Pour exécuter le script ci-dessous, collez cette commande node amazon-product-page-scraper.js dans le terminal:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
// Importer le Crawling API
const { API d'exploration } = exigent('base d'exploration');

// Définissez votre Crawlbase jeton
const API = New API d'exploration({ jeton: 'VOTRE_JETON_CRAWLBASE' });

// URL de la page Amazon à scraper
const amazonPageURL = 'https://www.amazon.com/dp/B099MPWPRY';

// Obtenir une demande d'exploration de l'URL
api
  .obtenez(URL de la page Amazon)
  .puis((à un besoin identifié) => {
    if (réponse.code d'état === 200) {
      console.enregistrer(réponse.corps);
    }
  })
  .capture((erreur) => console.erreur);

Le script ci-dessus montre comment utiliser Crawlbase's Crawling API Pour accéder aux données d'une page produit Amazon et les récupérer, il suffit de configurer le jeton d'API de scraping Amazon, de définir l'URL cible et d'effectuer une requête GET. Le résultat de ce code sera le contenu HTML brut de la page produit Amazon spécifiée. (https://www.amazon.com/dp/B099MPWPRY). Il sera affiché dans la console, montrant la structure HTML non formatée de la page. console.log(response.body) line imprime ce contenu HTML sur la console comme indiqué ci-dessous :

Réponse HTML de la requête API

L'utilisation de Crawlbase API pour extraire les listes de produits Amazon

Dans les exemples ci-dessus, nous avons expliqué comment obtenir uniquement la structure de base des données d'un produit Amazon (le code HTML). Mais parfois, nous n'avons pas besoin de ces données brutes ; nous souhaitons récupérer les informations importantes de la page. Crawlbase Crawling API a intégré API de scraping d'Amazon pour extraire le contenu important des pages Amazon. Pour que cela fonctionne, nous devons ajouter un paramètre « scraper » lors de l'utilisation de Crawling API. Ce paramètre « scraper » nous aide à récupérer les bonnes parties de la page dans un format JSON. Nous effectuons des modifications sur le même fichier amazon-product-page-scraper.jsRegardons un exemple ci-dessous pour avoir une meilleure idée :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
// Importer le Crawling API
const { API d'exploration } = exigent('base d'exploration');

// Définissez votre Crawlbase jeton
const API = New API d'exploration({ jeton: 'VOTRE_JETON_CRAWLBASE' });

// URL de la page Amazon à scraper
const amazonPageURL = 'https://www.amazon.com/dp/B099MPWPRY';

// options pour Crawling API
const choix = {
  grattoir: « détails-du-produit-amazon »,
};

// Obtenir une demande d'exploration de l'URL
api
  .obtenez(amazonPageURL, options)
  .puis((à un besoin identifié) => {
    if (réponse.code d'état === 200) {
      // Analyser la réponse JSON et l'imprimer
      console.enregistrer(JSON.analyser(réponse.corps));
    }
  })
  .capture((erreur) => {
    console.erreur(« Erreur de demande d'API : », erreur);
  });

La sortie du bloc de code ci-dessus sera la réponse JSON analysée contenant des détails spécifiques du produit Amazon tels que le nom du produit, la description, le prix, la devise, ASIN parent, nom du vendeur, informations sur le stock, etc. Ces données seront affichées sur la console, présentant des informations organisées extraites de la page produit Amazon spécifiée.

Réponse JSON de la requête API

Nous allons maintenant récupérer le nom, le prix, la note et l'image du produit Amazon à partir de la réponse JSON mentionnée précédemment. Pour ce faire, nous devons stocker la réponse JSON dans un fichier nommé "amazon-product-scraper-response.json"Pour ce faire, exécutez le script suivant dans votre terminal :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
// Importer les modules requis
const fs = exigent(« fs »);
const { API d'exploration } = exigent('base d'exploration');

// Définissez votre Crawlbase jeton
const API = New API d'exploration({ jeton: 'VOTRE_JETON_CRAWLBASE' });

// URL de la page Amazon à scraper
const amazonPageURL = 'https://www.amazon.com/dp/B099MPWPRY';

// Options pour Crawling API
const choix = {
  grattoir: « détails-du-produit-amazon »,
};

// Obtenir une demande d'exploration de l'URL
api
  .obtenez(amazonPageURL, options)
  .puis((à un besoin identifié) => {
    if (réponse.code d'état === 200) {
      // Analyser la réponse JSON
      const jsonResponse = JSON.analyser(réponse.corps);

      // Enregistrer la réponse JSON dans un fichier
      fs.écrireFichier('amazon-product-scraper-response.json', JSON.stringifier(jsonRéponse, nul, 2), (se tromper) => {
        if (err) {
          console.erreur(« Erreur lors de l'enregistrement du JSON : », euh);
        } d'autre {
          console.enregistrer(« Réponse JSON enregistrée dans amazon-product-scraper-response.json »);
        }
      });
    }
  })
  .capture((erreur) => {
    console.erreur(« Erreur de demande d'API : », erreur);
  });

Ce code explore avec succès la page produit Amazon, récupère la réponse JSON et l'enregistre dans le fichier. Un message dans la console indique que la réponse JSON a été enregistrée dans 'amazon-product-scraper-response.json'Vous verrez des messages d’erreur appropriés dans la console si des erreurs se produisent au cours de ces étapes.

Message sur la console pour enregistrer le fichier JSON

Gratter le nom du produit Amazon

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
// Importer le module fs
const fs = exigent(« fs »);

fs.lireFichier('amazon-product-scraper-response.json', «utf8», (euh, données) => {
  if (err) {
    console.erreur(« Erreur de lecture du fichier JSON : », euh);
    retourner;
  }

  Essai {
    // Analyser les données JSON
    const jsonData = JSON.analyser(données);

    // Extraire une valeur spécifique (par exemple, l'âge)
    const nomduproduit = jsonData.corps.Le nom;

    // Imprimer la valeur extraite
    console.enregistrer('Nom_du_produit :', nom du produit);
  } capture (erreur) {
    console.erreur(« Erreur lors de l'analyse des données JSON : », erreur);
  }
});

Le bloc de code ci-dessus lit les données d'un fichier JSON nommé "amazon-product-scraper-response.json" en utilisant le module fs (système de fichiers) dans Node.js. Il tente ensuite d'analyser les données JSON, d'extraire une valeur spécifique (dans ce cas, la "name" propriété de la "body" objet) et l'imprime sur la console. S'il y a des erreurs, comme des données JSON mal formées ou la propriété spécifiée inexistante, les messages d'erreur s'afficheront en conséquence.

Extraire le nom du produit Amazon à partir du fichier JSON

Comment réduire le prix d'un produit Amazon

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
// Importer le module fs
const fs = exigent(« fs »);

fs.lireFichier('amazon-product-scraper-response.json', «utf8», (euh, données) => {
  if (err) {
    console.erreur(« Erreur de lecture du fichier JSON : », euh);
    retourner;
  }

  Essai {
    // Analyser les données JSON
    const jsonData = JSON.analyser(données);

    // Extraire une valeur spécifique (par exemple, l'âge)
    const prixduproduit = jsonData.corps.prix;

    // Imprimer la valeur extraite
    console.enregistrer('Prix:', produitPrix);
  } capture (erreur) {
    console.erreur(« Erreur lors de l'analyse des données JSON : », erreur);
  }
});

Ce code utilise Node.js fs module pour interagir avec le système de fichiers et lire le contenu d'un fichier JSON nommé "amazon-product-scraper-response.json". Lors de la lecture du fichier, il tente d'analyser les données JSON qu'il contient. Si l'analyse réussit, il extrait les "price" propriété de la "body" objet des données JSON. Cette valeur de prix extraite est ensuite imprimée sur la console.

Extraire le prix d'un produit Amazon à partir d'un fichier JSON

Comment récupérer les notes des produits Amazon

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
// Importer le module fs
const fs = exigent(« fs »);

fs.lireFichier('amazon-product-scraper-response.json', «utf8», (euh, données) => {
  if (err) {
    console.erreur(« Erreur de lecture du fichier JSON : », euh);
    retourner;
  }

  Essai {
    // Analyser les données JSON
    const jsonData = JSON.analyser(données);

    // Extraire une valeur spécifique (par exemple, l'âge)
    const évaluation du produit = jsonData.corps.Avis client;

    // Imprimer la valeur extraite
    console.enregistrer('Notation:', évaluation du produit);
  } capture (erreur) {
    console.erreur(« Erreur lors de l'analyse des données JSON : », erreur);
  }
});

Le code lit le contenu d'un fichier JSON nommé "amazon-product-scraper-response.json". Il tente ensuite d'analyser les données JSON et d'extraire la valeur stockée sous la clé "customerReview" du "body" objet. La valeur extraite, qui semble représenter la note d'un produit, est imprimée sous la forme « Note : » suivie de la valeur.

Extraire la note du produit Amazon à partir du fichier JSON

Comment récupérer l'image d'un produit Amazon

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
// Importer le module fs
const fs = exigent(« fs »);

fs.lireFichier('amazon-product-scraper-response.json', «utf8», (euh, données) => {
  if (err) {
    console.erreur(« Erreur de lecture du fichier JSON : », euh);
    retourner;
  }

  Essai {
    // Analyser les données JSON
    const jsonData = JSON.analyser(données);

    // Extraire une valeur spécifique (par exemple, l'âge)
    const produitImage = jsonData.corps.image principale;

    // Imprimer la valeur extraite
    console.enregistrer('Image:', image du produit);
  } capture (erreur) {
    console.erreur(« Erreur lors de l'analyse des données JSON : », erreur);
  }
});

Le script ci-dessus tente d'analyser les données JSON et d'extraire la valeur stockée sous la clé "mainImage" au sein du "body" objet. La valeur extraite, représentant probablement une image de produit, est imprimée comme "Image:" suivi de la valeur. Cette valeur d'image obtenue est enregistrée dans la console.

Extraire l'URL de l'image du produit Amazon à partir du fichier JSON

Grattez les avis sur les produits Amazon avec CrawlbaseGrattoir intégré de

Dans cet exemple, nous allons récupérer les avis clients du même produit Amazon. L'URL cible que nous avons récupérée est https://www.amazon.com/product-reviews/B099MPWPRY. Crawlbase's Crawling API dispose d'un scraper intégré conçu pour les avis de produits Amazon. Ce scraper nous permet de récupérer les avis clients d'un produit Amazon. Pour y parvenir, il suffit d'intégrer un paramètre « scraper » dans notre utilisation du Crawling API, en lui attribuant la valeur "amazon-product-reviews"Explorons un exemple ci-dessous pour avoir une image plus claire :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
// Importer le Crawling API
const { API d'exploration } = exigent('base d'exploration');

// Définissez votre Crawlbase jeton
const API = New API d'exploration({ jeton: 'VOTRE_JETON_CRAWLBASE' });

// URL de la page Amazon à scraper
const amazonPageURL = 'https://www.amazon.com/product-reviews/B099MPWPRY';

// options pour Crawling API
const choix = {
  grattoir: 'avis-sur-les-produits-d'Amazon',
};

// Obtenir une demande d'exploration de l'URL
api
  .obtenez(amazonPageURL, options)
  .puis((à un besoin identifié) => {
    if (réponse.code d'état === 200) {
      // Analyser la réponse JSON et l'imprimer
      console.enregistrer(JSON.analyser(réponse.corps));
    }
  })
  .capture((erreur) => {
    console.erreur(« Erreur de demande d'API : », erreur);
  });

L'exécution du script ci-dessus entraînera l'extraction des données d'évaluation des produits Amazon via le Crawlbase Crawling API. Au fur et à mesure de son exécution, le code récupère des informations sur les avis liés à la page produit Amazon spécifiée. Ces données seront formatées en JSON et affichées sur la console, offrant des informations précieuses sur les expériences et les opinions des clients. La sortie structurée présente divers aspects des avis, notamment les noms des évaluateurs, les notes, les dates des avis, les titres des avis, etc.

Réponse JSON des avis clients sur les produits Amazon

Nous avons révélé le potentiel de l'extraction de données grâce à un guide détaillé, étape par étape. Nous avons utilisé Crawlbase's Crawling API Créer un outil de scraping web Amazon permettant d'extraire des informations produit complexes, telles que les descriptions, les prix, les vendeurs et la disponibilité des stocks. Ce guide explique également comment Crawlbase Crawling API facilite de manière transparente l'extraction des avis clients, en fournissant une multitude d'informations telles que les noms des évaluateurs, les notes, les dates et les textes des avis.

Comment éviter d'être bloqué lors du scraping d'Amazon

Défis liés à l'extraction des données sur les produits Amazon

Crawlbase Crawling API est conçu pour répondre aux défis associés au web scraping, en particulier dans les scénarios où récupération des données des produits Amazon est préoccupé. Face à la multiplication des questions telles que « Les influenceurs Amazon bénéficient-ils de produits gratuits » et à la demande croissante de données sur le marketing d'influence, Crawlbase fournit une solution permettant d'extraire des informations sur les produits afin de faciliter l'analyse de marché et la prise de décision. Voici comment Crawlbase Crawling API peut aider à atténuer ces défis :

  1. Mesures anti-grattage : Crawlbase Crawling API utilise des techniques avancées pour contourner les mécanismes anti-scraping tels que les CAPTCHA, le blocage IP et la détection des agents utilisateurs. Cela permet une collecte de données transparente sans déclencher d'alarmes.
  2. Structure de site Web dynamique : L'API est équipée pour s'adapter aux changements de structure du site Web en utilisant des algorithmes intelligents qui ajustent automatiquement les modèles de scraping pour correspondre à la mise en page évolutive des pages d'Amazon.
  3. Préoccupations juridiques et éthiques : Crawlbase respecte les conditions d'utilisation de sites web comme Amazon, garantissant que le scraping est effectué de manière responsable et éthique. Cela minimise les risques de poursuites judiciaires et de dilemmes éthiques.
  4. Volume et vitesse des données : L'API gère efficacement de grands volumes de données en répartissant les tâches de scraping sur plusieurs serveurs, permettant une extraction de données rapide et évolutive.
  5. Complexité des informations sur les produits : Crawlbase's Crawling API utilise des techniques d'extraction de données intelligentes qui capturent avec précision des informations complexes sur les produits, telles que les avis, les prix, les images et les spécifications.
  6. Limitation de débit et blocage IP : L'API gère les limites de débit et le blocage des IP en limitant intelligemment les requêtes et en faisant tourner les adresses IP, garantissant ainsi que la collecte de données reste ininterrompue.
  7. Défis Captcha : Crawlbase's Crawling API peut gérer les CAPTCHA grâce à des mécanismes de résolution automatisés, éliminant ainsi le besoin d'intervention manuelle et accélérant le processus de scraping d'Amazon.
  8. Qualité et intégrité des données : L'API offre des fonctionnalités de validation et de nettoyage des données pour garantir que les données extraites sont exactes et à jour, réduisant ainsi le risque d'utiliser des informations obsolètes ou incorrectes.
  9. Robustesse des scripts de scraping : L'architecture robuste de l'API est conçue pour gérer divers scénarios, erreurs et modifications dans la structure du site Web, réduisant ainsi le besoin de surveillance et d'ajustements constants.

Crawlbase Crawling API fournit une solution complète qui répond aux complexités et aux défis du scraping Web des données Amazon. En offrant des techniques de scraping intelligentes, une architecture robuste et le respect des normes éthiques, l'API permet aux entreprises de recueillir des informations précieuses sans les obstacles typiques associés au scraping Web.

Applications d'Amazon Scraper

Applications de Scrape données produit Amazon

Votre entreprise peut bénéficier de l'utilisation d'un outil de scraping Web ou d'un outil de scraping Amazon pour collecter des données aux fins suivantes :

  1. L'un des principaux domaines dans lesquels les données collectées par Amazon peuvent être utilisées est l'analyse des avis des clients pour améliorer les produits. En examinant attentivement les commentaires, les entreprises peuvent identifier les domaines dans lesquels leurs produits peuvent être améliorés, ce qui accroît la satisfaction des clients.
  2. Une autre application intéressante des données extraites est l’identification des tendances du marché et des modèles de demande. En analysant les modèles et les tendances du comportement des clients, les entreprises peuvent anticiper les besoins des consommateurs et adapter leurs offres en conséquence. Cela leur permet de garder une longueur d’avance sur la concurrence et de proposer des produits ou services très demandés.
  3. La surveillance des stratégies de tarification des concurrents est une autre utilisation importante des données récupérées. En examinant de près la manière dont les concurrents fixent les prix de leurs produits, les entreprises peuvent prendre des décisions éclairées concernant leurs ajustements de prix. Cela leur permet de rester compétitives sur le marché et d'ajuster leurs stratégies de tarification en temps réel.
  4. Les entreprises de commerce électronique peuvent utiliser les données de produits récupérées pour générer du contenu sur leur site Web, comme des descriptions de produits, des caractéristiques et des spécifications. Cela peut améliorer l'optimisation des moteurs de recherche (SEO) et améliorer l'expérience d'achat en ligne.
  5. Les marques peuvent surveiller Amazon à la recherche de produits non autorisés ou contrefaits en récupérant les données des produits et en les comparant à leurs offres authentiques.

Vous voulez un scraper Amazon fiable ?

Ce guide étape par étape sur l'extraction de données Amazon met en lumière l'importance des données produits Amazon et leur potentiel de croissance. Les entreprises peuvent prendre des décisions éclairées sur divers aspects opérationnels en extrayant et en analysant efficacement ces données.

Essayez CrawlbaseAPI de scraping prête à l'emploi et contournez les blocs en toute simplicité. Commencez gratuit

Questions fréquemment posées (FAQ) sur le scraping Amazon

Le scraping des données d'Amazon peut être juridiquement risqué, surtout en cas de violation de ses Conditions d'utilisation. Bien que les données publiques ne soient pas nécessairement protégées, Amazon bloque activement les robots et peut intenter des poursuites en cas de scraping excessif. Pour rester en conformité, utilisez des outils de scraping qui respectent les limites de débit, évitez les contenus à connexion restreinte et envisagez d'utiliser des API comme Crawlbase, qui gère le scraping éthique et la rotation des proxys.

2. Quel est le meilleur outil pour scraper Amazon en 2026 ?

Le meilleur scraper Amazon dépend de vos compétences techniques et de votre cas d'utilisation. Pour les développeurs, Crawlbase Offre une puissante API de scraping avec gestion intégrée des proxys, gestion des CAPTCHA et rendu JavaScript. Les utilisateurs sans code préféreront peut-être des outils comme Octoparse ou Apify. Choisissez toujours un outil capable de contourner la protection anti-bot d'Amazon tout en restant évolutif et conforme.

3. Puis-je scraper Amazon en utilisant Python ?

Oui, vous pouvez scraper des données Amazon en Python avec des bibliothèques comme requests, BeautifulSoup ou Selenium. Cependant, la protection anti-bot d'Amazon rend difficile l'accès direct aux pages produits. C'est pourquoi de nombreux développeurs intègrent Crawlbase API dans leurs scripts Python pour récupérer de manière fiable des pages entièrement rendues avec des en-têtes et des proxys déjà gérés.

4. Quel type de données puis-je extraire des annonces Amazon ?

Vous pouvez extraire diverses données produit, notamment le titre, le prix, les avis, les notes, l'ASIN, les informations sur le vendeur, la disponibilité, les images et les spécifications du produit. Grâce à un scraper performant ou à une API comme Crawlbase, vous pouvez collecter ces données dans des formats structurés (JSON/CSV) pour le suivi des produits, les moteurs de comparaison ou l'analyse concurrentielle.

5. Comment éviter d'être bloqué lors du scraping d'Amazon ?

Pour éviter d'être bloqué, vous devez effectuer une rotation des adresses IP, falsifier les en-têtes, introduire des délais réalistes et éviter de récupérer le contenu des connexions. Amazon dispose de systèmes anti-bots performants ; il est donc préférable d'utiliser une API de récupération comme Crawlbase, qui gère tout cela en coulisses, garantissant que vos demandes semblent humaines et ne sont pas bloquées.