Comment scraper TripAdvisor avec Pythonavis et notes depuis les listings publics

TripAdvisor possède l'un des plus grands pools de données de voyage générées par les utilisateurs sur le web : des centaines de millions d'avis, de notes et de listings pour les hôtels, restaurants et attractions. Cela en fait une source attrayante pour la recherche de marché, l'analyse concurrentielle et le suivi de réputation. Le problème est que TripAdvisor rend la plupart de son contenu avec JavaScript et se défend vigoureusement contre le trafic automatisé, donc une requête HTTP simple vous donne une page quasi vide et, souvent, un blocage.

Ce guide vous montre comment scraper TripAdvisor de façon fiable avec Python : routez vos requêtes via le Crawlbase Smart AI Proxy, laissez-le rendre la page et faire tourner les IPs pour vous, puis analysez le HTML retourné avec BeautifulSoup pour extraire les noms, notes, comptages d'avis et localisations depuis les listings de recherche publics. Tout ici est exécutable, et l'ensemble du tutoriel se limite aux données publiques uniquement.

Est-il légal de scraper TripAdvisor ?

Scraper une grande plateforme commerciale se situe dans une zone grise juridique, et la légalité dépend des conditions d'utilisation de TripAdvisor, de votre juridiction et de ce que vous faites des données. Les conditions de TripAdvisor restreignent l'accès automatisé, donc le scraping peut aller à l'encontre de ces conditions quel que soit le soin apporté à vos outils. Aucun code ici ne change cela ; il rend simplement la partie technique fonctionnelle.

Quelques règles à respecter. Collectez uniquement les données publiques : les noms de listings, notes, comptages d'avis et localisations que quiconque peut voir sans compte. Respectez le robots.txt de TripAdvisor et ses attentes de débit déclarées, et gardez votre volume de requêtes suffisamment bas pour ne pas surcharger les serveurs. Les avis sont du contenu généré par des utilisateurs liés à de vraies personnes, donc ne les republiez pas en masse et ne scrapez rien qui identifie un individu. Si vous envisagez de réutiliser les données commercialement, obtenez une permission ou un accord de données officiel plutôt que de supposer que le silence vaut consentement.

Ce guide est délibérément limité aux données de listings publics parce que c'est la ligne qui rend le travail défendable. Il ne couvre pas ce qui est derrière une connexion, les données de comptes ou profils, les messages privés, ni aucune tentative de contourner l'authentification. Si votre projet a besoin de plus que des listings publics, la bonne voie est une API officielle ou un accord de données avec TripAdvisor, pas un scraper plus sophistiqué.

Pourquoi scraper TripAdvisor

Le sentiment de voyage public évolue constamment, et une seule consultation de page ne vous dit que ce à quoi ressemble un listing maintenant. Scraper les listings publics de TripAdvisor vous permet de suivre les notes, les comptages d'avis et les classements dans le temps, ce dont la plupart des travaux de recherche dépendent réellement. Quelques utilisations concrètes :

• Recherche de marché. Repérez les destinations populaires et l'évolution des préférences des clients en observant le volume d'avis et les notes par catégorie.
• Analyse concurrentielle. Comparez votre hôtel, restaurant ou attraction aux concurrents sur la note et le comptage d'avis dans le même marché.
• Suivi de réputation. Suivez l'évolution de la note de votre propre listing dans le temps pour réagir rapidement aux baisses.
• Découverte de tendances. Agrégez le sentiment sur de nombreux listings pour faire émerger des patterns que une seule page ne révélerait jamais.

Pour un ingénieur, la valeur réside dans les données structurées : transformer une page de recherche rendue en lignes propres que vous pouvez interroger, représenter graphiquement ou alimenter dans un modèle.

Pourquoi une requête simple échoue ici

Si vous demandez une URL TripAdvisor avec un client HTTP brut, vous obtenez généralement une réponse avec le statut 200 et presque aucune des données recherchées. Deux facteurs jouent contre vous. Premièrement, TripAdvisor rend ses listings dans le navigateur avec JavaScript, donc le HTML initial est une coquille qui ne se remplit qu'après l'exécution des scripts de la page. Deuxièmement, TripAdvisor signale rapidement le trafic automatisé : les IPs de datacenter et les patterns de requêtes qui ne ressemblent pas à un vrai navigateur sont mis au défi ou bloqués avant d'atteindre le contenu rendu.

Un scraper TripAdvisor fonctionnel a donc besoin de deux choses en une seule requête : un navigateur qui rend réellement la page, et une IP que la plateforme lit comme un vrai visiteur. Vous pouvez assembler cela vous-même avec un navigateur headless plus un pool de proxies résidentiels rotatifs, mais assembler ces éléments et les maintenir opérationnels représente la majeure partie du travail. Le Crawlbase Smart AI Proxy regroupe les deux dans un seul endpoint : vous pointez votre client HTTP normal vers lui, passez quelques paramètres, et il rend la page derrière une IP de confiance et rotative et retourne le HTML finalisé.

Configurer l'environnement

Vous avez besoin de Python 3.8 ou supérieur. Confirmez votre version, créez un environnement virtuel pour que les dépendances du projet restent isolées, puis installez les trois bibliothèques utilisées dans ce guide.

python --version

python -m venv tripadvisor_env
source tripadvisor_env/bin/activate

pip install requests beautifulsoup4 pandas

Sur Windows, activez l'environnement avec tripadvisor_env\Scripts\activate à la place de la ligne source. Les trois dépendances font le travail : requests effectue les appels HTTP, beautifulsoup4 analyse le HTML retourné, et pandas organise vos résultats et les écrit dans un fichier.

Vous avez également besoin d'un compte Crawlbase et d'un token d'accès, que vous obtenez depuis le tableau de bord après inscription. Insérez-le dans le code partout où vous voyez YOUR_ACCESS_TOKEN.

Envoyer une requête via le Smart AI Proxy

Le Smart AI Proxy est simplement un endpoint proxy HTTP, donc vous le configurez de la même façon que tout proxy dans requests. Mettez votre token d'accès dans l'URL du proxy, pointez les deux entrées http et https vers lui, et faites une requête GET normale. Comme le proxy termine TLS pour vous, passez verify=False pour ignorer les vérifications locales de certificat.

import requests

proxy_url = "http://YOUR_ACCESS_TOKEN:@smartproxy.crawlbase.com:8012"
target_url = "https://www.tripadvisor.com/Search?q=london"

proxies = {"http": proxy_url, "https": proxy_url}

response = requests.get(target_url, proxies=proxies, verify=False)

print("Status:", response.status_code)
print(response.content[:500])

Cet unique appel constitue toute l'intégration. Votre code reste du requests brut ; le proxy gère la rotation d'IP et la réputation de visiteur de confiance qui vous évite d'être bloqué dès le premier hit.

Passer des paramètres Crawling API

Le Smart AI Proxy expose les mêmes contrôles que la Crawling API via un seul en-tête de requête, CrawlbaseAPI-Parameters. Vous passez des options sous forme de valeur de style chaîne de requête. Par exemple, pour géolocaliser la requête aux États-Unis, définissez le paramètre country :

import requests

proxy_url = "http://YOUR_ACCESS_TOKEN:@smartproxy.crawlbase.com:8012"
target_url = "https://www.tripadvisor.com/Search?q=london"

headers = {"CrawlbaseAPI-Parameters": "country=US"}
proxies = {"http": proxy_url, "https": proxy_url}

response = requests.get(target_url, headers=headers, proxies=proxies, verify=False)
print(response.content[:500])

Vous pouvez enchaîner plusieurs options avec & dans la même valeur d'en-tête, ce qui est exactement comment activer le rendu JavaScript ensuite.

Rendre les pages lourdes en JavaScript

TripAdvisor charge ses listings côté client, donc sans rendu vous obtenez à nouveau la coquille vide. Activez un navigateur headless avec javascript=true, et ajoutez page_wait pour maintenir un délai fixe en millisecondes après le chargement afin que les éléments se rendant tardivement apparaissent avant que la page soit capturée. Cinq secondes est un bon point de départ ; augmentez si les résultats reviennent clairsemés.

import requests

proxy_url = "http://YOUR_ACCESS_TOKEN:@smartproxy.crawlbase.com:8012"
target_url = "https://www.tripadvisor.com/Search?q=london"

headers = {"CrawlbaseAPI-Parameters": "javascript=true&page_wait=5000"}
proxies = {"http": proxy_url, "https": proxy_url}

response = requests.get(target_url, headers=headers, proxies=proxies, verify=False)
html_content = response.content.decode("utf-8")

print("Fetched", len(html_content), "characters of rendered HTML")

Avec le rendu JavaScript activé, le corps de la réponse contient maintenant les listings remplis plutôt qu'un scaffold vide. C'est le HTML que vous passerez à BeautifulSoup.

Analyser les listings de recherche avec BeautifulSoup

Avec le HTML rendu en main, chargez-le dans BeautifulSoup et parcourez les cartes de résultats. La première tâche est de trouver le conteneur qui contient les résultats de recherche. Ouvrez la page dans votre navigateur, faites un clic droit sur un résultat et choisissez Inspecter pour lire le balisage live.

Dans la vue de recherche de TripAdvisor, chaque listing se trouve dans un div avec la classe result, et ceux-ci vivent à l'intérieur d'une liste de résultats identifiée par data-widget-type="LOCATIONS". Sélectionnez-la et bouclez sur les cartes :

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, "html.parser")

search_results = soup.select(
    'div.search-results-list[data-widget-type="LOCATIONS"] div.result'
)

for result in search_results:
    # extract fields from each result here
    pass

Maintenant mappez chaque champ à son sélecteur. L'inspection d'une carte montre où se trouvent le nom, la note, le comptage d'avis et la localisation :

• Nom se trouve dans un <span> à l'intérieur d'un div.result-title.
• Note est dans un span.ui_bubble_rating, avec la valeur stockée dans son attribut alt.
• Comptage d'avis est le texte d'un lien a.review_count.
• Localisation est le texte d'un div.address-text.

name_el = result.select_one("div.result-title span")
name = name_el.text.strip() if name_el else None

rating_el = result.select_one("span.ui_bubble_rating")
rating = rating_el["alt"] if rating_el else None

reviews_el = result.select_one("a.review_count")
reviews = reviews_el.text.strip() if reviews_el else None

location_el = result.select_one("div.address-text")
location = location_el.text.strip() if location_el else None

Le scraper complet

Voici tout câblé dans un seul fichier exécutable. Il récupère la page de recherche rendue via le Smart AI Proxy, analyse chaque résultat, collecte les lignes et les affiche en JSON.

import json
import requests
from bs4 import BeautifulSoup

proxy_url = "http://YOUR_ACCESS_TOKEN:@smartproxy.crawlbase.com:8012"
target_url = "https://www.tripadvisor.com/Search?q=london"

headers = {"CrawlbaseAPI-Parameters": "javascript=true&page_wait=5000"}
proxies = {"http": proxy_url, "https": proxy_url}


def parse_results(html):
    soup = BeautifulSoup(html, "html.parser")
    cards = soup.select(
        'div.search-results-list[data-widget-type="LOCATIONS"] div.result'
    )
    rows = []
    for result in cards:
        name_el = result.select_one("div.result-title span")
        rating_el = result.select_one("span.ui_bubble_rating")
        reviews_el = result.select_one("a.review_count")
        location_el = result.select_one("div.address-text")
        rows.append({
            "name": name_el.text.strip() if name_el else None,
            "rating": rating_el["alt"] if rating_el else None,
            "reviews": reviews_el.text.strip() if reviews_el else None,
            "location": location_el.text.strip() if location_el else None,
        })
    return rows


def main():
    response = requests.get(target_url, headers=headers, proxies=proxies, verify=False)
    html = response.content.decode("utf-8")
    rows = parse_results(html)
    print(json.dumps(rows, indent=2))


if __name__ == "__main__":
    main()

À quoi ressemble la sortie

Exécutez-le avec python tripadvisor_scraper.py et vous obtenez un tableau d'objets de listing structurés. Un exemple réduit :

[
  {
    "name": "London Eye",
    "rating": "4.5 of 5 bubbles",
    "reviews": "89,766 reviews",
    "location": "Westminster Bridge Road, London, England, United Kingdom"
  },
  {
    "name": "Big Bus London Hop-On Hop-Off Tour and River Cruise",
    "rating": "4 of 5 bubbles",
    "reviews": "8,656 reviews",
    "location": "London, England, United Kingdom"
  },
  {
    "name": "North London Skydiving Centre",
    "rating": "5 of 5 bubbles",
    "reviews": "2,889 reviews",
    "location": "Block Fen Drove, Wimblington, Cambridgeshire, England, United Kingdom"
  }
]

Gérer la pagination

Une page de résultats est une démo ; un vrai travail en parcourt plusieurs. TripAdvisor utilise le paramètre de requête o (offset) pour paginer les résultats de recherche, avançant du nombre de résultats par page. Bouclez sur une plage, augmentez l'offset à chaque fois et collectez les lignes dans une seule liste.

base_url = "https://www.tripadvisor.com/Search?q=london"
all_rows = []
offset = 0

for page in range(5):  # adjust to the number of pages you want
    target_url = f"{base_url}&o={offset}"
    response = requests.get(target_url, headers=headers, proxies=proxies, verify=False)
    html = response.content.decode("utf-8")
    all_rows.extend(parse_results(html))
    offset += 30  # results per page

print(f"Collected {len(all_rows)} listings")

Réutiliser parse_results du script complet garde la logique d'extraction en un seul endroit, pour que chaque page passe par les mêmes sélecteurs. Cadencez la boucle pour ne pas envoyer des requêtes dos à dos ; le proxy fait tourner les IPs pour vous, mais un rythme régulier maintient une exécution saine sur un site commercial défensif.

Sauvegarder les données dans Excel

Afficher dans la console est utile pendant l'itération, mais vous voulez les données sur disque. Avec pandas, transformer vos lignes en fichier Excel que quiconque peut ouvrir dans un tableur ne prend que deux lignes.

import pandas as pd

df = pd.DataFrame(all_rows)
df.to_excel("tripadvisor_data.xlsx", index=False)
print("Saved tripadvisor_data.xlsx")

Chaque clé d'objet devient une colonne, vous obtenez donc une feuille ordonnée avec nom, note, avis et localisation. Si vous préférez interroger les données avec SQL, écrivez les mêmes lignes dans une table SQLite à la place ; l'analyse reste identique.

Rester non bloqué

Même avec le rendu et la rotation d'IP gérés par le Smart AI Proxy, TripAdvisor surveille le trafic ayant la forme d'un scraper. Quelques habitudes maintiennent une exécution saine, et elles s'appliquent à toute cible commerciale difficile.

• Cadencez vos requêtes. Marteler la même recherche en boucle serrée est le moyen le plus rapide d'être limité en débit. Étalez les requêtes et variez vos requêtes de recherche.
• Misez sur la rotation. Un pool de proxies résidentiels répartit les requêtes sur de nombreuses IPs d'utilisateurs réels pour qu'aucune seule adresse ne déclenche une limite de débit. Le Smart AI Proxy gère cela pour vous ; si vous construisez le vôtre, c'est la partie à maîtriser.
• Lisez les codes de statut. Une exécution qui commence à retourner des challenges ou des erreurs vous indique que le débit ou le niveau d'IP actuels ne sont plus suffisants. Traitez ces réponses comme un signal, ralentissez et réessayez plus tard.

Pour le guide complet, consultez comment scraper des sites web sans se faire bloquer.

Foire aux questions

Est-il légal de scraper TripAdvisor ?

Cela dépend des conditions d'utilisation de TripAdvisor, de votre juridiction et de votre objectif, et leurs conditions restreignent l'accès automatisé. Restez strictement aux données de listing publiques telles que les noms, notes, comptages d'avis et localisations, respectez le robots.txt et les attentes de débit déclarées, et ne touchez jamais aux comptes, données personnelles ou contenu derrière connexion. Les avis sont du contenu utilisateur lié à de vraies personnes, donc ne les republiez pas en masse. Pour une réutilisation commerciale, obtenez une permission ou un accord de données officiel plutôt que de vous appuyer sur un scraper.

Pourquoi une simple requête ne retourne-t-elle pas de données depuis TripAdvisor ?

Parce que TripAdvisor rend ses listings côté client avec JavaScript. Le HTML initial est une coquille qui ne se remplit qu'après l'exécution des scripts de la page dans un navigateur, donc une requête HTTP brute retourne le statut 200 avec les champs vides. Pour obtenir de vraies données vous devez d'abord rendre la page, ce que le paramètre javascript=true du Smart AI Proxy gère pour vous.

Comment gérer le chargement de contenu dynamique sur TripAdvisor ?

Activez le rendu JavaScript via le Smart AI Proxy en passant javascript=true dans l'en-tête CrawlbaseAPI-Parameters, et ajoutez page_wait pour attendre quelques secondes après le chargement afin que les éléments se rendant tardivement apparaissent. Cette combinaison exécute la page dans un vrai navigateur headless avant de retourner le HTML, pour que les listings dynamiques soient présents quand BeautifulSoup les analyse.

Puis-je scraper plusieurs pages de résultats de recherche TripAdvisor ?

Oui. TripAdvisor utilise le paramètre d'offset o pour paginer les résultats de recherche, donc vous bouclez sur une plage, augmentez l'offset du nombre de résultats par page à chaque fois, et collectez les lignes dans une seule liste. Cadencez la boucle plutôt que d'envoyer des requêtes dos à dos, et réutilisez la même fonction d'analyse pour chaque page.

Mes sélecteurs retournent None. Qu'est-ce qui a changé ?

Très certainement le balisage de TripAdvisor. Les noms de classes comme result-title et ui_bubble_rating changent sans préavis, donc les sélecteurs qui fonctionnaient le mois dernier peuvent se casser. Ré-inspectez une page de recherche live dans les outils de développement de votre navigateur et mettez à jour les sélecteurs. La maintenance périodique des sélecteurs est normale pour tout scraper de production.

TripAdvisor autorise-t-il le web scraping ?

Les conditions de TripAdvisor restreignent l'accès automatisé, donc il ne permet pas largement le scraping. Cela dit, collecter des données visibles publiquement comme les noms de listings, les notes, les comptages d'avis et les localisations via un outil tel que le Smart AI Proxy est le chemin à moindre risque lorsque c'est fait de façon responsable : restez sur les données publiques, respectez le robots.txt et les limites de débit, et évitez tout ce qui est lié à des utilisateurs individuels.

HR

Hassan Rehan

Ingénieur logiciel · Crawlbase

Ingénieur logiciel chez Crawlbase, il rédige des guides pratiques sur les proxys rotatifs, le scraping et les détails concrets de l'intégration de proxys dans du vrai code.