Python existe depuis plus de 20 ans et est aujourd'hui l'un des langages de programmation les plus populaires. C'est un langage à usage général, orienté objet et interprété, ce qui signifie que toutes les erreurs sont vérifiées pendant l'exécution. Python est également open source et un langage de haut niveau qui peut être utilisé dans un large éventail de tâches, notamment le développement Web, l'intelligence artificielle, le big data, les scripts, etc.

Vous n'avez pas besoin d'avoir des années d'expérience pour commencer à utiliser Python. Il est relativement simple à comprendre, c'est pourquoi la plupart des ingénieurs en logiciel le recommandent comme point de départ si vous souhaitez apprendre à coder. Développés en tenant compte de l'expérience utilisateur, les programmeurs trouvent souvent que les codes Python sont plus simples à lire et leur permettent d'exécuter des commandes avec moins de lignes de code par rapport aux autres langages.

Cet article explorera les principes fondamentaux du scraping Web avec Python et comment les développeurs peuvent tirer parti des techniques et outils essentiels pour une extraction efficace des données du site Web.

Java

1
2
3
4
5
public classe Échantillon {
public statique annuler principal(Chaîne args[]) {
System.out.println("Bonjour le monde!");
}
}

Python

1
impression("Bonjour le monde!")

Pourquoi utiliser Python pour le Web Scraping ?

Donc, si vous envisagez d'explorer et de scraper un certain site Web mais que vous ne savez pas quel langage de programmation utiliser, le scraping avec Python est la meilleure façon de commencer. Si vous n'êtes toujours pas convaincu, voici quelques-unes des fonctionnalités clés qui rendent Python préférable pour grattage web:

  1. Plus de tâches avec moins de codes : Nous ne le soulignerons jamais assez. Écrire un code en Python est bien plus simple et si vous cherchez à extraire de grandes quantités de données, vous ne voudrez sûrement pas passer plus de temps à écrire votre code. Avec Python, vous pouvez faire plus avec moins.
  2. Soutien communautaire : Étant donné que Python est populaire et largement considéré comme un langage fiable pour le scraping, vous pouvez facilement demander de l'aide si vous rencontrez des problèmes techniques auprès de milliers de membres de la communauté sur les forums et la plupart des plateformes de médias sociaux.
  3. Une multitude de bibliothèques : Il dispose d'un large choix de bibliothèques, notamment pour le scraping Web, notamment Selenium, BeautifulSoup et bien sûr Crawlbase.
  4. Saisie dynamique : Python vous permet d'utiliser des variables sans spécifier leurs types de données, ce qui permet de gagner du temps et d'augmenter l'efficacité de vos tâches.
  5. Syntaxe claire et compréhensible : La syntaxe de Python est facilement compréhensible en raison de sa similitude avec les instructions anglaises. Le code est expressif et lisible, et l'indentation permet de distinguer efficacement les différents blocs de code ou portées.

Cependant, le scraping Web en Python peut parfois être délicat, car certains sites Web peuvent bloquer vos requêtes ou même bannir votre adresse IP. Écrire un simple scraper Web en Python peut ne pas suffire sans utiliser de proxys. Ainsi, pour scraper facilement un site Web à l'aide de Python, vous aurez besoin de Crawlbase Crawling API qui vous permet d'éviter les requêtes bloquées et les CAPTCHA.

Scraping de sites Web avec Python à l'aide de Crawlbase

Maintenant que nous vous avons fourni certaines des raisons pour lesquelles vous devriez créer un scraper Web en Python avec Crawlbase, continuons avec un guide sur la façon de scraper un site Web à l'aide de Python et de créer votre outil de scraping.

Tout d’abord, voici les prérequis pour notre outil de scraping simple :

  1. Compte Crawlbase
  2. PyCharm ou tout autre éditeur de code que vous préférez
  3. Python 3.x
  4. Bibliothèque Python Crawlbase

Assurez-vous de prendre note de votre jeton Crawlbase qui servira de clé d'authentification pour utiliser le Crawling API après-vente.

Commençons par installer la bibliothèque que nous utiliserons pour ce projet. Vous pouvez exécuter la commande suivante sur votre console :

1
pip installe crawlbase

Une fois que tout est configuré, il est temps d'écrire du code. Tout d'abord, importez l'API Crawlbase :

1
de base d'exploration importer API d'exploration

Initialisez ensuite l’API et entrez votre jeton d’authentification :

1
api = API d'exploration({'jeton': 'USER_TOKEN'})

Ensuite, récupérez votre URL cible ou tout site Web que vous souhaitez récupérer. Pour ce guide, nous utiliserons Amazon comme exemple.

1
URL cible = 'https://www.amazon.com/AMD-Ryzen-3800XT-16-Threads-Processor/dp/B089WCXZJC'

La partie suivante de notre code nous permettra de télécharger le code source HTML complet de l'URL et, en cas de succès, affichera le résultat sur votre console ou terminal :

1
2
3
réponse = api.get(targetURL)
if réponse['code_d'état']== 200:
impression(réponse['corps'])

Comme vous pouvez le constater, chaque requête adressée à Crawlbase est accompagnée d'une réponse. Notre code ne vous montrera le code HTML analysé que si le statut est 200 ou succès. Toute autre réponse, disons 503 ou 404, signifiera que le robot d'exploration Web a échoué. Cependant, l'API utilise des milliers de proxys dans le monde entier qui devraient fournir les meilleurs résultats de données possibles.

Maintenant, nous avons réussi à créer un robot d'exploration. Mais ce que nous voulons, c'est un outil de scraping, n'est-ce pas ? Nous allons donc utiliser le moyen le plus pratique pour scraper un site Web qui renverra des données analysées au format JSON.

Une grande caractéristique du Crawling API c'est que nous pouvons utiliser le intégré grattoirs de données pour les sites pris en charge, et heureusement, Amazon en fait partie.

Pour utiliser le scraper de données, il suffit de le transmettre en tant que paramètre de notre requête GET. Notre code complet devrait maintenant ressembler à ceci :

1
2
3
4
5
6
7
8
9
de base d'exploration importer API d'exploration

api = API d'exploration({'jeton': 'USER_TOKEN'})

URL cible = 'https://www.amazon.com/AMD-Ryzen-3800XT-16-Threads-Processor/dp/B089WCXZJC'

réponse = api.get(targetURL, {'analyse automatique': 'vrai'})
if réponse['code_d'état']== 200:
impression(réponse['corps'])

Si tout se passe bien, vous recevrez une réponse comme l'exemple ci-dessous :

Sortie de réponse

Créer des scrapers Web Python avec BeautifulSoup et Crawlbase

Et maintenant, que faire si vous souhaitez obtenir des données plus spécifiques, par exemple, juste le nom et le prix du produit ? Comme mentionné précédemment, Python dispose d'une grande collection de bibliothèques, y compris celles qui sont spécifiquement destinées au scraping. BeautifulSoup est l'une d'entre elles et est un package populaire sur Python pour l'analyse des données HTML et XML. Il est également plus simple à utiliser, ce dont les débutants peuvent profiter.

Alors, allons-y et essayons de créer un simple scraper Web en Python en utilisant le Crawling API et BeautifulSoup cette fois. Puisque nous utilisons la version 3.xx de Python, installons la dernière version Forfait BeautifulSoup qui s'appelle simplement BS4 :

1
pip installer beautifulsoup4

Puisque nous avons déjà installé la bibliothèque Crawlbase précédemment, vous pouvez simplement créer un nouveau fichier Python et importer BS4 ou Crawlbase.

1
2
de bs4 importer BeautifulSoup
de base d'exploration importer API d'exploration

Ensuite, comme précédemment, assurez-vous d’initialiser l’API et d’utiliser la requête GET pour explorer votre URL cible :

1
2
3
4
5
6
7
8
9
10
api = API d'exploration({ 'jeton': 'USER_TOKEN' })

URL cible = 'https://www.amazon.com/AMD-Ryzen-3800XT-16-Threads-Processor/dp/B089WCXZJC'

réponse = api.get(targetURL)

Ensuite, nous devons pass le code source HTML de BeautifulSoup afin que nous puissions obtenir un objet et du analyser des données spécifiques avec l'analyseur lxml.

if réponse['code_d'état']== 200:
b_soup = BeautifulSoup(réponse['corps'], 'lxml')

Dans cet exemple, nous allons essayer d'obtenir le nom et le prix du produit à partir d'une page produit Amazon. Le moyen le plus simple de le faire est d'utiliser la méthode find et de passer un argument pour extraire les textes spécifiques dont nous avons besoin. Pour en savoir plus sur la façon de sélectionner un élément HTML spécifique, vous pouvez consulter la Documentation de BeautifulSoup.

1
2
produit*nom = b_soup.find('portée', classe*='titre-de-produit-taille-a-large-saut-de-mot').texte
produit*prix = b_soup.find('portée', classe*='a-size-medium a-color-price priceBlockBuyingPriceString').texte

Après cela, il nous suffit simplement d’écrire une commande pour imprimer la sortie.

1
2
impression('nom:', nom_du_produit)
impression('prix:', prix_du_produit)

Le code complet devrait maintenant ressembler à ceci :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
de bs4 importer BeautifulSoup
de base d'exploration importer API d'exploration

api = API d'exploration({ 'jeton': 'USER_TOKEN' })

URL cible = 'https://www.amazon.com/AMD-Ryzen-3800XT-16-Threads-Processor/dp/B089WCXZJC'

réponse = api.get(targetURL)

if réponse['code_d'état']== 200:
b_soup = BeautifulSoup(réponse['corps'], 'lxml')

    nom_produit = b_soup.find('portée', classe_='titre-de-produit-taille-a-large-saut-de-mot').texte
    prix_du_produit = b_soup.find('portée', classe_='a-size-medium a-color-price priceBlockBuyingPriceString').texte
    impression('nom:', nom_du_produit)
    impression('prix:', prix_du_produit)

Sortie de l'échantillon:

exemple-de-sortie.jpg

Exemple de sortie

Meilleures bibliothèques de scraping Web Python

Pour le scraping Web avec Python, il existe des bibliothèques spécifiques pour différentes tâches :

  • Sélénium: Il s'agit d'un outil de test Web qui automatise efficacement les tâches du navigateur. Vous pouvez installer Selenium avec la commande pip suivante :
1
pip installer le sélénium
  • Belle soupe : Cette bibliothèque Python analyse les documents HTML et XML, générant des arbres d'analyse pour une extraction de données simplifiée. Vous pouvez installer Beautiful Soup avec la commande pip suivante :
1
pip installer beautifulsoup4
  • Les pandas : Il est utilisé pour la manipulation et l'analyse des données. Pandas facilite l'extraction et le stockage des données dans les formats préférés.
    Vous pouvez installer Pandas avec la commande pip suivante :
1
pip installer des pandas

Lorsque vous envisagez la légalité du scraping Web avec Python, il est important de noter que les autorisations de scraping varient selon les sites Web. Pour déterminer la position d'un site Web sur le scraping Web, vous pouvez vous référer à son fichier « robots.txt ». Accédez à ce fichier en ajoutant « /robots.txt » à l'URL que vous souhaitez scraper.

Bien que l'acte de scraping en lui-même puisse être légal, les données extraites peuvent être soumises à des restrictions légales quant à leur utilisation. Assurez-vous de ne pas empiéter sur :

  • Matériel protégé par le droit d'auteur : Il s'agit de données protégées par les lois sur la propriété intellectuelle. L'utilisation de ce contenu sans autorisation est illégale.
  • Informations personnelles: Les données permettant d'identifier des personnes relèvent des réglementations sur la protection de la vie privée, comme le RGPD pour les citoyens de l'UE. Sans fondement juridique pour stocker ces données, il est préférable d'éviter de les collecter.

En général, consultez toujours les conditions générales d'un site Web avant de procéder au scraping afin de vous assurer de la conformité avec ses politiques. En cas de doute, pensez à contacter le propriétaire du site pour obtenir un consentement explicite avant de procéder. Être conscient de ces aspects juridiques permet de naviguer dans le scraping Web avec Python de manière responsable et dans les limites légales.

Défis du Web Scraping

Pour le scraping Web avec Python, préparez-vous à quelques défis en cours de route. Internet regorge de technologies, de styles et d'évolutions constantes, ce qui rend le scraping un peu chaotique.

  • Diversité du site Web : Chaque site Web est unique et nécessite des approches personnalisées pour une extraction efficace des données malgré des modèles récurrents.
  • Nature dynamique : Les sites Web subissent des changements constants. Votre scraper Web Python peut fonctionner parfaitement au début, mais à mesure que les sites Web évoluent, il peut rencontrer des erreurs ou avoir du mal à naviguer dans de nouvelles structures.
  • Adaptabilité: Malgré les changements, la plupart des modifications apportées aux sites Web sont progressives. La mise à jour de votre scraper avec des ajustements mineurs est souvent suffisante pour prendre en compte ces changements.
  • Maintenance en cours: En raison de la structure en constante évolution d’Internet, attendez-vous à ce que vos scrapers nécessitent des mises à jour et des ajustements réguliers pour rester fonctionnels et précis.

Astuces bonus pour le scraping Web Python

Lorsque vous récupérez des données avec un scraper Web Python, tenez compte de ces conseils et astuces utiles :

  • Chronométrez vos demandes : L'envoi d'un trop grand nombre de requêtes en peu de temps peut déclencher des codes CAPTCHA ou même entraîner le blocage de votre adresse IP. Pour éviter cela, introduisez des délais d'attente entre les requêtes, créant ainsi un flux de trafic plus naturel. Bien qu'il n'existe pas de solution de contournement Python pour ce problème, l'espacement des requêtes peut supprimer les blocages potentiels ou les CAPTCHA.
  • La gestion des erreurs: Lorsque vous récupérez un site Web à l'aide de Python, vous devez savoir que les sites Web sont dynamiques et que leur structure peut changer de manière inattendue. Implémentez la gestion des erreurs, comme l'utilisation de la syntaxe try-except, surtout si vous utilisez fréquemment le même scraper Web. Cette approche s'avère utile lors de l'attente d'éléments, de l'extraction de données ou de l'exécution de requêtes, ce qui permet de gérer efficacement les modifications de la structure du site Web.

Cinq faits amusants sur le scraping Web Python

L'extraction de données à partir de sites Web à l'aide de Python est une compétence pratique, mais elle ne se limite pas à ses seules utilisations pratiques. Voici cinq informations intéressantes sur le scraping Web avec Python qui pourraient vous surprendre, que vous débutiez ou que vous codiez depuis des années :

  1. Le Web Scraping est apparu avant l'essor du Web

Le scraping Web trouve ses origines dans les débuts d'Internet, avant même que les sites Web ne deviennent monnaie courante. Les premiers « scrapers » étaient des robots d'indexation tels que World Wide Web Wanderer (créé en 1993). Ces robots d'indexation visaient à indexer le nombre croissant de sites Web. Dans le monde d'aujourd'hui, les bibliothèques BeautifulSoup et Scrapy de Python vous permettent de créer des scrapers Web modernes avec un minimum de code. Cependant, cette technique a de profondes racines historiques.

  1. La BeautifulSoup de Python a failli s'appeler « CuteHTML »
    La bibliothèque Python BeautifulSoup, un outil standard de scraping Web, a une histoire fascinante derrière son nom. Leonard Richardson, le créateur, a choisi « Beautiful Soup » en référence à un poème d'Alice au pays des merveilles de Lewis Carroll. Avant de choisir BeautifulSoup, il a pensé à des noms comme « CuteHTML ». Le choix final reflète la capacité de la bibliothèque à « ranger » du HTML encombré, de la même manière que l'on prépare une délicieuse soupe à partir de nouilles emmêlées.

  2. Il est utilisé dans la science des données compétitives
    Le Web scraping consiste simplement à récupérer les prix des produits ou à extraire du contenu, mais c'est une compétence essentielle dans la science des données compétitive. De nombreuses personnes qui participent à des concours de science des données (comme Kaggle) utilisent le Web scraping pour collecter des données supplémentaires afin d'améliorer leurs modèles. Qu'il s'agisse de collecter des articles d'actualité, des mises à jour sur les réseaux sociaux ou des ensembles de données ouverts, le Web scraping peut donner aux participants une longueur d'avance dans la création de modèles plus robustes.

  3. Le Web Scraping a un impact sur la formation de l'IA
    Le scraping Web ne se limite pas à la collecte de données statiques. Il a également un impact sur la formation des modèles d'IA. Les vastes ensembles de données nécessaires à la formation des modèles d'apprentissage automatique et de traitement du langage naturel proviennent souvent du scraping de contenu accessible au public, comme les plateformes de réseaux sociaux, les blogs ou les sites d'actualités. Par exemple, les grands modèles linguistiques (tels que GPT) apprennent à partir d'énormes quantités de contenu Web récupéré, ce qui leur permet de produire du texte qui ressemble à du texte humain.

  4. De nombreux sites disposent de « boucliers anti-scraping » et Python peut les contourner
    Le scraping Web peut être délicat : de nombreux sites disposent de « boucliers » intégrés pour empêcher les robots de collecter leurs données. Ces boucliers incluent des systèmes anti-bot CAPTCHA et du contenu rendu par JavaScript. Python dispose cependant de bibliothèques comme Selenium qui permettent aux scrapers d'interagir avec les sites Web comme s'ils étaient de véritables utilisateurs. Cela les aide à contourner ces obstacles en contrôlant un navigateur Web et en résolvant les CAPTCHA par des actions qui imitent le comportement humain.

Conclusion

C'est aussi simple que cela. Avec seulement 12 lignes de code, notre outil de scraping Web Python est complet et prêt à être utilisé. Bien entendu, vous pouvez utiliser ce que vous avez appris ici comme vous le souhaitez et il vous fournira toutes sortes de données déjà analysées. Avec l'aide de Crawling API, vous n'aurez pas à vous soucier des blocages de sites Web ou des CAPTCHA, vous pourrez donc vous concentrer sur ce qui est important pour votre projet ou votre entreprise.

N'oubliez pas qu'il s'agit simplement d'un outil de scraping très basique. L'outil de scraping Web Python peut être utilisé de différentes manières et à une échelle beaucoup plus grande. N'hésitez pas à expérimenter différentes applications et modules. Vous souhaiterez peut-être rechercher et télécharger des images Google, surveiller les prix des produits sur les sites commerciaux pour connaître les changements quotidiens, ou même fournir des services à vos clients qui nécessitent une extraction de données.

Les possibilités sont infinies et l'utilisation de l'API d'exploration et de scraping de Crawlbase garantira que votre outil de scraping Web Python restera efficace et fiable à tout moment.