Clutch.co est une plateforme qui met en relation les entreprises avec les prestataires de services via des profils d'entreprise, des avis clients et des rapports de marché. Avec des milliers d'entreprises répertoriées, Clutch.co dispose de données de services commerciaux précieuses pour la génération de prospects et les études de marché. En utilisant un scraper Clutch.co, vous pouvez extraire les données Clutch.co et prendre des décisions commerciales éclairées.

Dans ce blog, nous vous guiderons tout au long du processus de création d'un scraper Python Clutch.co. Nous couvrirons tout, de la configuration de votre environnement à l'optimisation de votre scraper avec le Crawlbase Crawling API.

Table des matières

Pourquoi Scrape Clutch.co ?

Le scraping de Clutch.co présente de nombreux avantages, en particulier pour les entreprises qui souhaitent utiliser les données de manière stratégique. Voici les raisons d'utiliser un scraper Clutch.co :

Une image montrant l'importance de construire un scraper Python Clutch.co

Données complètes sur les services aux entreprises :

Clutch.co possède les profils de plus de 150,000 XNUMX prestataires de services dans tous les secteurs. L'extraction de ces données vous permet d'obtenir des informations sur vos concurrents et partenaires potentiels.

Avis et notes des clients :

Les retours clients sont essentiels à la qualité du service. Les avis et les notes collectés vous aident à évaluer les entreprises et à prendre de meilleures décisions en matière de collaboration ou d'investissement.

Génération de leads:

L'extraction des coordonnées et des détails des services de Clutch.co peut optimiser vos efforts de génération de leads. Ces données vous aident à trouver des clients ou des partenaires potentiels et à rationaliser vos efforts de sensibilisation.

Analyse de marché:

Vous pouvez visualiser les tendances du marché, les stratégies de tarification et les offres de services en récupérant les données de plusieurs fournisseurs de services. Cela s'avère utile pour développer une stratégie concurrentielle et positionner votre entreprise.

Extraction de données personnalisée :

Un scraper Python Clutch.co permet une extraction de données personnalisée. Vous pouvez cibler des catégories, des régions ou des types de services spécifiques et adapter les données aux besoins de votre entreprise.

Efficacité et automatisation :

L'automatisation du processus d'extraction des données permet d'économiser du temps et des ressources. Au lieu de collecter les données manuellement, un scraper peut collecter de grandes quantités de données rapidement et avec précision.

En utilisant un scraper Python Clutch.co, les entreprises peuvent acquérir un avantage concurrentiel grâce à une prise de décision éclairée et une gestion efficace des données.

Données clés sur Clutch.co

L'extraction de données sur Clutch.co vous fournira de nombreuses données précieuses. Voici quelques-uns des points de données que vous pouvez extraire de Clutch.co à l'aide d'un scraper Clutch.co :

Une image montrant les points de données clés à extraire de Clutch.co

En utilisant un scraper Python Clutch.co, vous pouvez obtenir toutes ces données et les organiser pour prendre de meilleures décisions commerciales. Cette collecte de données stimulera votre génération de leads et vous donnera une meilleure vue de la concurrence

Configuration de votre environnement

Pour créer un scraper Clutch.co, vous devez d'abord configurer votre environnement. Suivez ces étapes pour commencer.

Installer Python

Avant de pouvoir récupérer les données de Clutch.co, vous devez avoir Python installé sur votre machine. Python est un langage de programmation puissant et polyvalent, idéal pour les tâches de scraping Web.

Télécharger Python: Aller sur le site web de Site Web Python et téléchargez la dernière version de Python.

Installer Python: Suivez les instructions d'installation de votre système d'exploitation. Assurez-vous de cocher la case pour ajouter Python à votre PATH système lors de l'installation. Vous pouvez vérifier si Python est correctement installé en ouvrant votre terminal ou votre invite de commande et en tapant la commande suivante.

1
python --version

Bibliothèques Python requises

Une fois Python installé, vous devez installer les bibliothèques qui vous aideront à créer votre scraper Clutch.co. Ces bibliothèques sont requests, BeautifulSoup et pandas.

Demandes d'installation:Cette bibliothèque vous permet d'envoyer des requêtes HTTP à Clutch.co et de recevoir des réponses.

1
demandes d'installation pip

Installer BeautifulSoup:Cette bibliothèque vous aide à analyser le HTML et à extraire des données des pages Web.

1
pip installer beautifulsoup4

Installer Pandas:Cette bibliothèque est utile pour organiser et enregistrer les données récupérées dans un fichier CSV.

1
pip installer des pandas

Ces bibliothèques vous fourniront les outils dont vous avez besoin pour extraire les données Clutch.co. En configurant correctement votre environnement, vous pouvez vous concentrer sur l'écriture du code de votre scraper Clutch.co, optimiser votre flux de travail pour la génération de leads et l'extraction de données de services commerciaux.

Ensuite, nous allons créer le scraper Clutch.co en inspectant les pages Web Clutch.co pour voir la structure des données que nous devons récupérer.

Construction du Scraper Clutch.co

Dans cette section, nous allons créer notre scraper Clutch.co. Nous allons inspecter les pages Web Clutch.co, écrire le script Python, extraire les données clés des services commerciaux, gérer la pagination et enregistrer les données dans un fichier CSV.

Inspection des pages Web de Clutch.co

Tout d'abord, nous devons comprendre la structure des pages Web de Clutch.co. Visitez une page répertoriant les entreprises et utilisez les outils de développement de votre navigateur (généralement ouverts avec F12) pour inspecter la structure HTML.

Une capture d'écran de l'inspection du code de la page Web Clutch.co

Identifiez les éléments qui contiennent les données que vous souhaitez extraire, tels que Nom de l'entreprise, URL du site Web, note, nombre d'avis, services offerts et emplacement.

Rédaction du Scraper Clutch.co

Maintenant, écrivons le script Python pour extraire les données de Clutch.co. Nous utiliserons le requests bibliothèque pour récupérer le contenu HTML et BeautifulSoup pour l'analyser.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
importer demandes
de bs4 importer BeautifulSoup
importer pandas as pd
importer re

# Fonction pour récupérer le contenu HTML
def récupérer_html(url):
    réponse = demandes.get(url)
    if réponse.status_code == 200:
        retourner réponse.texte
    d'autre:
        impression(f"Échec de la récupération de la page. Code d'état : {réponse.status_code}")
        retourner Aucun

# Fonction pour analyser le HTML et extraire les données
def analyser_html(html):
    soupe = BeautifulSoup(html, 'html.parser')
    données = []

    entreprises = soup.select('ul.providers__list > li.provider')
    pour Société in entreprises:
        nom = société.select_one('h3.provider__title')
        nom = nom.texte.strip() if prénom d'autre 'N / A'

        site web = société.select_one('a.provider__cta-link.website-link__item')
        site web = site web['href'] if site de NDN Collective d'autre 'N / A'

        note = société.select_one('span.sg-rating__number')
        note = note.texte.strip() if clients d'autre 'N / A'

        avis = company.select_one('a.sg-rating__reviews')
        critiques = re.sub(r'\s+', '', critiques.text.strip()) if Avis Client d'autre 'N / A'

        services = société.select('div.provider__services-slider ul.provider__services-list li.provider__services-list-item')
        services = '/'.join([re.sub(r'\s+', '', service.text.strip()) pour service in services]) if services d'autre 'N / A'

        emplacement = société.select_one('li.provider__highlights-item.location span.localité')
        emplacement = emplacement.texte.strip() if Localisation d'autre 'N / A'

        données.append({
            'Nom de l'entreprise': nom,
            'Site web': site web,
            'Notation': notation,
            « Nombre d'avis »: avis,
            « Services offerts »: services,
            'Emplacement': emplacement
        })

    retourner données,

Le script comprend un fetch_html Fonction qui récupère le contenu HTML d'une URL donnée et vérifie si la requête a réussi en vérifiant le code d'état. En cas de succès, elle renvoie le contenu HTML ; sinon, elle imprime un message d'erreur.

Pour parse_html La fonction traite ensuite ce contenu HTML. Elle crée un objet BeautifulSoup pour analyser le code HTML et initialise une liste vide pour stocker les données extraites. La fonction sélectionne les éléments HTML pertinents contenant les détails de l'entreprise à l'aide de sélecteurs CSS. Pour chaque entreprise, elle extrait le nom, l'URL du site Web, la note, le nombre d'avis, les services offerts et l'emplacement. Elle s'assure également que tout espace supplémentaire dans le texte extrait est nettoyé à l'aide d'expressions régulières. Enfin, elle compile ces données dans un dictionnaire pour chaque entreprise et l'ajoute à la liste de données. La liste résultante de dictionnaires contenant des informations structurées sur chaque entreprise est ensuite renvoyée.

Gestion de la pagination

Clutch.co répertorie les entreprises sur plusieurs pages. Pour extraire les données de toutes les pages, nous devons gérer la pagination. Clutch.co utilise le paramètre de requête &page pour gérer la pagination.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
def données_de_grattage_d'embrayage(base_url, pages):
    toutes_données = []
    pour page in gamme(1, pages + 1):
        URL = f"{base_url}?page={page}"
        html = fetch_html(url)
        if html :
            données = parse_html(html)
            all_data.extend(données)
        d'autre:
            pause
    retourner toutes_les_données

base_url = 'https://clutch.co/it-services'
pages = 5  # Nombre de pages à extraire
données = scrape_clutch_data(base_url, pages)

Sauvegarde des données au format CSV

Une fois que nous avons récupéré les données, nous pouvons les enregistrer dans un fichier CSV à l'aide de l' pandas bibliothèque.

1
2
3
4
# Sauvegarde des données au format CSV
df = pd.DataFrame(données)
df.to_csv('données_embrayage.csv', indice=Faux)
impression(« Données enregistrées dans clutch_data.csv »)

Code complet

Voici le code complet du scraper Clutch.co :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
importer demandes
de bs4 importer BeautifulSoup
importer pandas as pd
importer re

# Fonction pour récupérer le contenu HTML
def récupérer_html(url):
    réponse = demandes.get(url)
    if réponse.status_code == 200:
        retourner réponse.texte
    d'autre:
        impression(f"Échec de la récupération de la page. Code d'état : {réponse.status_code}")
        retourner Aucun

# Fonction pour analyser le HTML et extraire les données
def analyser_html(html):
    soupe = BeautifulSoup(html, 'html.parser')
    données = []

    entreprises = soup.select('ul.providers__list > li.provider')
    pour Société in entreprises:
        nom = société.select_one('h3.provider__title')
        nom = nom.texte.strip() if prénom d'autre 'N / A'

        site web = société.select_one('a.provider__cta-link.website-link__item')
        site web = site web['href'] if site de NDN Collective d'autre 'N / A'

        note = société.select_one('span.sg-rating__number')
        note = note.texte.strip() if clients d'autre 'N / A'

        avis = company.select_one('a.sg-rating__reviews')
        critiques = re.sub(r'\s+', '', critiques.text.strip()) if Avis Client d'autre 'N / A'

        services = société.select('div.provider__services-slider ul.provider__services-list li.provider__services-list-item')
        services = '/'.join([re.sub(r'\s+', '', service.text.strip()) pour service in services]) if services d'autre 'N / A'

        emplacement = société.select_one('li.provider__highlights-item.location span.localité')
        emplacement = emplacement.texte.strip() if Localisation d'autre 'N / A'

        données.append({
            'Nom de l'entreprise': nom,
            'Site web': site web,
            'Notation': notation,
            « Nombre d'avis »: avis,
            « Services offerts »: services,
            'Emplacement': emplacement
        })

    retourner données,

# Fonction pour gérer la pagination et extraire plusieurs pages
def données_de_grattage_d'embrayage(base_url, pages):
    toutes_données = []
    pour page in gamme(1, pages + 1):
        URL = f"{base_url}?page={page}"
        html = fetch_html(url)
        if html :
            données = parse_html(html)
            all_data.extend(données)
        d'autre:
            pause
    retourner toutes_les_données

base_url = 'https://clutch.co/it-services'
pages = 5  # Nombre de pages à extraire
données = scrape_clutch_data(base_url, pages)

# Sauvegarde des données au format CSV
df = pd.DataFrame(données)
df.to_csv('données_embrayage.csv', indice=Faux)
impression(« Données enregistrées dans clutch_data.csv »)

NoteClutch.co peut détecter et bloquer vos requêtes avec un statut 403 en raison de la protection Cloudflare. Pour contourner ce problème, pensez à utiliser la Crawlbase Crawling API.

clutch_data.csv Instantané du fichier :

Instantané du fichier de sortie CSV

Dans cette section, nous avons montré comment créer un scraper Clutch.co à l'aide de Python. Nous avons abordé l'inspection des pages Web, l'écriture du script de scraping, la gestion de la pagination et l'enregistrement des données dans un fichier CSV. Ce scraper Clutch.co peut être utilisé pour extraire des données de services commerciaux à des fins de génération de leads et à d'autres fins.

Optimisation du grattoir Clutch.co avec Crawlbase Crawling API

Pour rendre notre grattoir Clutch.co plus efficace et robuste, nous pouvons intégrer le Crawlbase Crawling APICela vous aidera à gérer les tâches de scraping complexes, la rotation des adresses IP et à contourner les restrictions. Voici les étapes pour optimiser votre scraper Clutch.co avec Crawlbase.

Pose Crawlbase Bibliothèque:Tout d'abord, vous devez installer le Crawlbase Bibliothèque. Vous pouvez le faire avec pip :

1
pip installe crawlbase

Après avoir installé la bibliothèque, vous pouvez utiliser Crawlbase pour gérer les demandes et extraire les données de Clutch.co plus efficacement.

Importer des bibliothèques:En plus des bibliothèques précédentes, importez Crawlbase.

1
2
3
4
de bs4 importer BeautifulSoup
importer pandas as pd
importer re
de base d'exploration importer API d'exploration

installation Crawlbase API: Initialiser le Crawlbase Crawling API avec votre jeton. Vous pouvez en obtenir un en créant un compte sur Crawlbase. Crawlbase Nous proposons deux types de jetons : un jeton normal pour les sites web statiques et un jeton JavaScript (JS) pour gérer les requêtes dynamiques ou basées sur un navigateur. Pour Clutch.co, un jeton JS est nécessaire. Les 1,000 XNUMX premières requêtes sont gratuites pour démarrer, sans carte de crédit.

1
crawling_api = API d'exploration({ 'jeton': 'CRAWLBASE_JS_TOKEN' })

Définir une fonction pour effectuer des requêtes: Créez une fonction pour gérer les requêtes à l'aide de Crawlbase.

1
2
3
4
5
6
7
8
def créer_une_requête_crawlbase(url):
    réponse = crawling_api.get(url)
    if réponse['en-têtes']['pc_status']== «200 ':
        html_content = réponse['corps'].décoder(« utf-8 »)
        retourner contenu_html
    d'autre:
        impression(f"Échec de la récupération de la page. Crawlbase code d'état : {réponse['en-têtes']['pc_status']}")
        retourner Aucun

Modifier le grattoir à utiliser Crawlbase: Mettre à jour le scraper pour utiliser le Crawlbase fonction de demande.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
# Fonction pour analyser le HTML et extraire les données
def analyser_html(html):
    # comme avant

# Fonction pour gérer la pagination et extraire plusieurs pages
def données_de_grattage_d'embrayage(base_url, pages):
    toutes_données = []
    pour page in gamme(1, pages + 1):
        URL = f"{base_url}?page={page}"
        html = make_crawlbase_request(url)
        if html :
            données = parse_html(html)
            all_data.extend(données)
        d'autre:
            pause
    retourner toutes_les_données

base_url = 'https://clutch.co/it-services'
pages = 5  # Nombre de pages à extraire
données = scrape_clutch_data(base_url, pages)

# Sauvegarde des données au format CSV
df = pd.DataFrame(données)
df.to_csv('données_embrayage.csv', indice=Faux)
impression(« Données enregistrées dans clutch_data.csv »)

En utilisant Crawlbase Crawling API Avec votre scraper Python Clutch.co, vous pouvez gérer des tâches complexes et éviter les interdictions d'IP. Cela vous permettra de récupérer les données Clutch.co plus efficacement et de rendre vos services commerciaux et votre collecte de données de génération de leads plus fiables et évolutives.

Construisez un grattoir Clutch.co avec Crawlbase

Créer un scraper Clutch.co peut s'avérer un outil puissant pour collecter des données sur les services aux entreprises et générer des prospects. En utilisant Python et des bibliothèques comme BeautifulSoup et les requêtes, vous pouvez extraire des informations précieuses sur les entreprises, les notes, les avis, etc. Intégrer le Crawlbase Crawling API peut optimiser davantage votre grattoir, le rendant plus efficace et fiable.

La création d'un scraper Clutch.co permet non seulement de collecter des données, mais également d'analyser les tendances du secteur et les informations sur les concurrents. Ces informations peuvent être cruciales pour prendre des décisions commerciales éclairées et stimuler la croissance.

Si vous cherchez à étendre vos capacités de scraping Web, pensez à explorer nos guides suivants sur le scraping d'autres sites Web importants.

(I.e. Comment récupérer des fonds de Google Finance
(I.e. Comment récupérer des informations sur Google News
(I.e. Comment récupérer les résultats de Google Scholar
(I.e. Comment récupérer les résultats de recherche Google
(I.e. Comment récupérer des données Google Maps
(I.e. Comment récupérer des fonds de Yahoo Finance
(I.e. Comment gratter Zillow

Si vous avez des questions ou des commentaires, notre équipe de soutien est toujours disponible pour vous aider dans votre parcours de scraping Web. Bon scraping !

Foire aux questions (FAQ)

Le scraping de Clutch.co doit être conforme à ses conditions d'utilisation. En règle générale, le scraping de données accessibles au public est autorisé à des fins personnelles, de recherche et non commerciales. Cependant, le scraping à des fins commerciales ou la violation des conditions du site Web peut entraîner des problèmes juridiques. Consultez toujours les conditions d'utilisation et la politique de confidentialité du site Web que vous scrapez et assurez-vous de ne pas enfreindre les droits des utilisateurs ou de ne pas violer les lois sur la protection des données. Suivez les conditions d'utilisation de Clutch.co pour éviter les problèmes juridiques.

Q : Comment puis-je extraire des données de Clutch.co en Python ?

Pour extraire les données de Clutch.co en Python, installez d'abord les bibliothèques nécessaires, telles que requests et BeautifulSoup. Rédigez un script qui envoie des requêtes HTTP à Clutch.co, récupère le code HTML et l'analyse avec BeautifulSoup. Extrayez les informations, les notes et les avis de l'entreprise en ciblant des éléments HTML spécifiques. Utilisez des boucles pour gérer la pagination et extraire plusieurs pages. Pour un scraping à grande échelle, intégrez-le. Crawlbase Crawling API pour améliorer les performances et éviter les interdictions IP.

Q : Comment puis-je extraire les commentaires de Clutch.co en Python ?

Pour récupérer les commentaires de Clutch.co, suivez ces étapes :

  1. Inspecter la page:Utilisez les outils de développement de votre navigateur pour vérifier la structure HTML de la section commentaires sur les pages de profil d'entreprise. Notez le sélecteur CSS pour les éléments contenant les commentaires.
  2. Récupérer le code HTML: Utilisez des bibliothèques telles que requests ou urllib pour envoyer une requête à l'URL Clutch.co et obtenir le HTML de la page.
  3. Analyser le code HTML:Utilisez la bibliothèque BeautifulSoup pour analyser le HTML et extraire les commentaires à l'aide des sélecteurs CSS que vous avez notés.
  4. Gérer la pagination:Recherchez le lien vers la page suivante de commentaires et répétez le processus pour récupérer toutes les pages.
  5. Suis les règles: Assurez-vous de respecter les conditions de service de Clutch.co pour éviter tout problème juridique.