Listes de proxys gratuits pour le web scrapingCe que révèlent 640,600 proxys mesurés

Si vous avez cherché une liste de proxys gratuits, vous en trouverez une dans les trente secondes. Des dizaines de sites publient des dizaines de milliers de paires IP et port, mises à jour à la minute, filtrables par pays et par niveau d'anonymat, téléchargeables sous forme de fichier texte. L'offre est réelle, et elle est bel et bien gratuite.

La question plus difficile, c'est ce qui se passe après avoir collé ces IP dans un scraper. Cette partie a réellement été mesurée, deux fois, à grande échelle, par des chercheurs universitaires qui ont publié leurs méthodes. Une étude a suivi plus de 107,000 proxys ouverts référencés à travers 13 millions de requêtes. Une autre en a observé 640,600 pendant 30 mois. Leurs conclusions sont bien plus utiles qu'un nouveau classement.

Cet article traite les deux moitiés du sujet: les listes de proxys gratuits qui existent et ce que chacune apporte vraiment, puis ce que disent les mesures sur la fiabilité, l'intégrité du trafic et le coût réel de leur utilisation. Il se termine par la partie que la plupart des articles sur ce mot-clé escamotent, à savoir que "proxy gratuit" désigne deux produits totalement différents, et qu'un seul des deux a sa place à proximité de la production.

Deux choses différentes s'appellent un proxy gratuit

La première catégorie est la liste d'agrégateur de proxys ouverts. Un éditeur scanne internet à la recherche d'hôtes qui acceptent de relayer le trafic de n'importe qui, vérifie s'ils répondent et publie ceux qui le font. Cet éditeur ne possède pas ces machines et n'a aucune relation avec leurs propriétaires. Vous empruntez le serveur d'un inconnu, et ni vous ni l'éditeur ne savez pourquoi cet inconnu accepte de vous le prêter.

La seconde catégorie est l'offre gratuite ou l'essai d'un fournisseur commercial. Une entreprise qui exploite un réseau de proxys vous en donne une part mesurée sans frais: un nombre fixe de requêtes, un plafond de bande passante ou un essai limité dans le temps. Les IP proviennent d'une infrastructure que l'entreprise source, documente et dont elle peut être tenue responsable.

Les deux sont appelées "proxys gratuits" et elles ne se comportent pas du tout de la même façon. Toutes les mesures ci-dessous décrivent la première catégorie. Comprendre cette distinction, c'est déjà l'essentiel de ce qui sépare un scraper qui fonctionne d'un scraper qui collecte discrètement n'importe quoi.

Les listes de proxys gratuits, nommément

Voici les agrégateurs qui reviennent le plus souvent pour cette recherche, avec ce que chacun fournit réellement. Les tailles de pool sont les chiffres annoncés par les éditeurs eux-mêmes au moment de la rédaction, et elles bougent en permanence, ce qui fait partie de l'histoire.

Lisez les mentions en petits caractères sur ces sites et une chose devient évidente: la plupart vous disent exactement de quoi il s'agit. ProxyScrape indique que "les proxys que nous fournissons sont des proxys publics, ce qui signifie que le proxy peut être infecté". Geonode avertit que les proxys publics gratuits "peuvent enregistrer le trafic, injecter des publicités ou être des honeypots" et ajoute: "n'envoyez jamais de données sensibles à travers des proxys gratuits". free-proxy-list.net décrit son propre inventaire comme "instable et généralement lent, mais très bon marché" et précise que ces proxys ne fonctionnent pas contre les grands sites.

Les éditeurs ne sont pas le problème ici, et il vaut la peine d'être précis là-dessus. Ils indexent des machines; ils ne les exploitent pas. Tout ce qui est mesuré ci-dessous est une propriété des opérateurs anonymes dont les serveurs finissent sur ces listes.

Ce que montrent les mesures: presque aucun ne répond

Le chiffre affiché en tête d'une liste de proxys n'est pas un décompte de proxys fonctionnels. C'est un décompte d'entrées.

Dans An Extensive Evaluation of the Internet's Open Proxies (Mani, Vaidya, Dworken et Sherr, ACSAC 2018), les chercheurs ont récupéré plus de 107,000 proxys ouverts référencés sur des sites d'agrégateurs et y ont poussé 13 millions de requêtes pendant 50 jours. Leur conclusion: plus de 92% des proxys ouverts figurant sur les sites d'agrégateurs ne répondent pas.

Free Proxies Unmasked (Mehanna, Rudametkin, Laperdrix et Vastel, MADWeb 2024) est allée plus loin et plus large, en suivant 640,600 proxys de 11 fournisseurs pendant 30 mois. Leur chiffre de disponibilité: seuls 34.5% ont été actifs ne serait-ce qu'une fois sur toute la fenêtre d'observation.

Ces deux études encadrent la réponse. Entre un tiers et un douzième d'une liste publiée répond, et répondre une fois n'est pas la même chose qu'être utilisable. La vérification pratique de Proxyway sur 35 adresses issues d'une liste populaire en a trouvé 15 fonctionnelles au départ et 11 encore fonctionnelles une demi-heure plus tard.

C'est pourquoi les pools gratuits paraissent exploitables sur un test de cinq minutes et s'effondrent dans un job planifié. Une poignée de proxys vivants suffit à récupérer une page à la main. Un cycle de rafraîchissement qui exige un débit soutenu passe le plus clair de son temps en timeout contre des adresses qui ont cessé de répondre après que vous avez téléchargé la liste.

Ce que montrent les mesures: certains altèrent votre trafic

La disponibilité est la défaillance ennuyeuse. La plus intéressante, c'est qu'une part mesurable de ces hôtes modifie ce qui les traverse.

L'étude MADWeb 2024 a trouvé 16,923 proxys qui manipulent le contenu parmi les 640,600 suivis. Elle a aussi scanné les IP des proxys elles-mêmes et catalogué 4,452 vulnérabilités distinctes, dont 1,755 permettant l'exécution de code à distance et 2,036 permettant une élévation de privilèges. Le plus parlant, sur la question de savoir qui fait tourner ces machines: 42,206 d'entre elles semblaient tourner sur des routeurs MikroTik, c'est-à-dire du matériel réseau grand public et de petite entreprise, et non quoi que ce soit ressemblant à un service de proxy.

L'étude ACSAC 2018 a documenté les comportements précis. Les chercheurs ont observé des attaques de type man-in-the-middle sur TLS, du HTML réécrit pour injecter du code de minage de cryptomonnaie, et des binaires modifiés en transit pour transporter des chevaux de Troie d'accès distant. À titre de contrôle, la même équipe a mesuré les relais de sortie Tor et n'a trouvé aucun cas d'interception TLS ni de manipulation de contenu, ce qui rappelle utilement que le problème vient de la structure d'incitations propre aux proxys ouverts anonymes, pas du trafic relayé en général.

Pourquoi ils sont gratuits

Le mot "gratuit" implique que quelqu'un absorbe un coût. Avec les proxys d'agrégateurs, quatre explications couvrent presque tous les cas, et seule la première est innocente.

• Mauvaise configuration. L'hôte n'était jamais censé être un proxy ouvert. Les réglages par défaut d'un routeur ou d'un serveur de cache l'ont laissé relayer le trafic de l'internet entier. Les 42,206 équipements MikroTik des données MADWeb relèvent de ce cas, à grande échelle, et leurs propriétaires n'en ont presque certainement aucune idée.
• Collecte. Faire tourner un proxy est un moyen bon marché de récolter un flux de requêtes appartenant à d'autres: noms d'hôtes, headers, cookies, jetons de session et tout ce qui est envoyé sans chiffrement. Le trafic est le produit.
• Injection. Si le contenu passe en clair, il peut être modifié. Les résultats publiés incluent de la publicité, des réécritures d'affiliation et des scripts de minage, qui monétisent votre bande passante et le CPU de vos utilisateurs.
• Observation. Certains proxys ouverts sont des honeypots, tenus par des chercheurs, des éditeurs de sécurité ou des opérateurs réseau qui veulent voir ce qui les traverse. Intention bénigne, mais public supplémentaire pour votre trafic.

Aucun de ces cas n'exige d'attaquant sophistiqué. Il suffit d'une machine qui relaie des paquets et d'une liste qui en fait la publicité.

L'arithmétique d'un pool gratuit

L'argument en faveur d'une liste gratuite, c'est qu'elle ne coûte rien. Cela ne tient que si votre temps ne vaut rien et si les requêtes échouées sont gratuites, et ni l'un ni l'autre n'est vrai au-delà du prototype.

Reprenez le modèle avec vos propres chiffres. Si un job a besoin de S récupérations réussies et que le pool convertit au taux p, vous émettez environ S / p tentatives. Aux taux de survie mesurés plus haut, un p entre 0.3 et 0.4 est optimiste pour une liste téléchargée il y a une heure: un job de 50,000 pages devient donc 125,000 à 165,000 tentatives, dont la plupart sont des timeouts plutôt que des rejets rapides. Les timeouts sont le type d'échec le plus coûteux, car chacun immobilise un worker pendant plusieurs secondes.

Ajoutez ensuite les postes qui n'apparaissent pas dans un compteur de requêtes:

• Retélécharger et revalider la liste, parce que les entrées expirent pendant que vous les utilisez.
• Construire et maintenir des health checks, une logique de retry et l'éviction des proxys morts. C'est un petit système distribué, et il est désormais à votre charge.
• Relancer des batchs terminés avec des trous silencieux, le mode de défaillance le plus coûteux parce que vous le découvrez en aval, dans les données.
• Vérifier que rien dans le corpus collecté n'a été modifié en transit.

Un ingénieur qui y consacre deux jours par mois a dépensé plus que ne coûte un plan payant, et n'a produit aucun produit. Notre grille de notation des fournisseurs de proxys détaille le même arbitrage.

Quand une liste de proxys gratuits est le bon outil

Il y a une vraie réponse ici, et prétendre le contraire serait malhonnête. Les listes d'agrégateurs sont réellement utiles quand l'enjeu est nul.

• Apprendre la mécanique. Configurer un proxy dans curl, dans requests ou dans le client HTTP de votre langage, et voir votre IP apparente changer, est un exercice utile, et les proxys gratuits conviennent parfaitement.
• Une récupération jetable d'une page publique. Aucun identifiant, aucune session, rien qui compte pour vous.
• Vérifier si un contenu public varie selon le pays, comme signal approximatif avant de s'engager dans du vrai géociblage.
• Tester que vos propres chemins de code gèrent l'échec d'un proxy, là où un pool peu fiable est sans doute le banc d'essai idéal.

La ligne à tenir: n'envoyez jamais à travers un proxy inconnu quoi que ce soit qu'il vous déplairait de voir conservé par un inconnu. Cela veut dire aucun login, aucune clé d'API, aucun cookie, aucune donnée personnelle, et rien dont vous comptez ensuite considérer l'intégrité comme acquise. Notre article sur la sécurité des proxys couvre les questions d'approvisionnement à poser à tout fournisseur, et le paysage du résidentiel rotatif montre où se situent les pools gratuits par rapport aux offres payantes.

L'offre gratuite qui fonctionne vraiment

Revenons à la distinction posée en ouverture. Si ce que vous voulez, c'est scraper sans payer pour l'instant, la réponse n'est pas une liste de routeurs d'inconnus; c'est une part mesurée d'une infrastructure qui a un propriétaire. Plusieurs existent. Webshare donne 10 IP de datacenter statiques et 1 GB par mois. Oxylabs propose une offre gratuite limitée aux États-Unis avec un plafond mensuel de 5 GB.

Le Crawlbase Smart AI Proxy vous donne 5,000 crédits sans carte bancaire, sur un pool de 140M d'IP résidentielles avec géociblage dans 45+ pays, un taux de succès moyen de 99% et une bande passante illimitée. Les blocages et les CAPTCHA sont traités à l'intérieur de l'endpoint plutôt que dans votre boucle de retry.

La différence opérationnelle compte plus que la taille du pool. Il y a un seul nom d'hôte et un seul port. Aucune liste à télécharger, valider, faire tourner ou purger, parce que la rotation se fait en amont et que chaque requête arrive depuis une IP neuve.

curl -x 'https://YOUR_TOKEN:@smartproxy.crawlbase.com:8013' \
     -k 'https://httpbin.org/ip'

Votre token est le nom d'utilisateur et le mot de passe reste vide. Le port 8013 est le proxy HTTPS et c'est celui qui est recommandé; 8012 parle HTTP en clair au proxy, pour les clients qui l'exigent. Les deux gèrent des cibles HTTP et HTTPS. La clé du dictionnaire nomme le schéma de la cible, et chaque entrée utilise le schéma attendu par son port : le proxy HTTP répond sur 8012, le proxy HTTPS sur 8013. La même chose depuis Python:

import requests

proxies = {
    'http':  'http://YOUR_TOKEN:@smartproxy.crawlbase.com:8012',
    'https': 'https://YOUR_TOKEN:@smartproxy.crawlbase.com:8013',
}

res = requests.get('https://httpbin.org/ip', proxies=proxies, verify=False)
print(res.text)

Le géociblage par requête, le type d'appareil et les sessions collantes se règlent avec des headers de requête plutôt qu'en changeant d'endpoint, et si vous voulez la rotation sans la couche d'IA, c'est un choix de configuration, traité dans rotation standard contre couche d'IA.

Choisir entre les options

Si vous hésitez encore sur le type d'IP dont un job a besoin avant de choisir un prestataire, datacenter contre résidentiel et l'accord du type de proxy avec la cible sont les deux lectures suivantes. Pour la mécanique de la rotation elle-même, par requête contre sessions collantes contient le code.

En résumé

Les listes de proxys gratuits sont réelles, abondantes et mortes pour l'essentiel. Deux études évaluées par des pairs situent la disponibilité entre 8% et 34.5%, et les éditeurs eux-mêmes décrivent leur inventaire comme des machines publiques susceptibles d'être infectées. Des milliers de ces hôtes ont été observés en train de modifier le trafic, des dizaines de milliers sont le routeur mal configuré de quelqu'un, et le travail nécessaire pour maintenir un tel pool en vie coûte plus cher qu'un plan payant.

Si le besoin est vraiment "pas de budget pour l'instant", prenez une offre gratuite mesurée chez un opérateur qui a un nom. Vous obtenez une IP fonctionnelle dès la première requête au lieu d'une file de timeouts, et personne ne lit votre trafic en guise de droit d'entrée.

Questions fréquentes

Les proxys gratuits sont-ils sûrs pour le web scraping?

Pas pour ce qui compte. Une mesure évaluée par des pairs portant sur 640,600 proxys gratuits en a trouvé 16,923 qui modifiaient le contenu passant par eux, et une étude antérieure sur 107,000 a documenté de l'interception TLS, des mineurs de cryptomonnaie injectés et des binaires réécrits en transit pour transporter des chevaux de Troie d'accès distant. Plusieurs éditeurs de listes le disent eux-mêmes; la page de ProxyScrape note que ses proxys "peuvent être infectés". Utilisez-les pour apprendre et pour des récupérations jetables de pages publiques, jamais pour des logins, des clés d'API, des cookies, des données personnelles ou un corpus dont vous comptez considérer l'intégrité comme acquise.

Pourquoi les proxys gratuits sont-ils gratuits?

Quatre raisons en couvrent la majorité. Beaucoup sont simplement mal configurés: une étude en a trouvé 42,206 qui semblaient tourner sur des routeurs MikroTik dont les propriétaires n'avaient presque certainement pas l'intention d'exploiter un proxy public. D'autres existent pour récolter le trafic qui les traverse, pour injecter de la publicité ou du code de minage dans des pages non chiffrées, ou pour observer le trafic en tant que honeypots. Quelqu'un paie la bande passante, et le trafic est généralement le paiement.

Combien de proxys d'une liste gratuite fonctionnent réellement?

Bien moins que le chiffre annoncé. L'étude ACSAC 2018 a trouvé plus de 92% de proxys ouverts référencés par des agrégateurs qui ne répondaient pas. L'étude MADWeb 2024 a trouvé que seuls 34.5% de 640,600 proxys avaient été actifs ne serait-ce qu'une fois sur 30 mois. L'attrition se poursuit aussi pendant que vous travaillez: une vérification pratique indépendante sur 35 adresses issues d'une liste en a trouvé 15 vivantes au départ et 11 encore vivantes 30 minutes plus tard. Un pool publié de 20,000 est un tableau de 20,000 lignes, pas 20,000 IP utilisables.

Quelle est la différence entre une liste de proxys gratuits et un essai gratuit de proxys?

La responsabilité. Une liste indexe des machines tenues par des inconnus qui n'ont aucun accord avec vous ni avec l'éditeur. Un essai ou une offre gratuite est une part mesurée d'un réseau qu'une entreprise exploite, documente et dont elle peut être tenue responsable. Les mots se ressemblent et les produits ne sont pas comparables; tous les constats de fiabilité et d'intégrité de cet article s'appliquent au premier type.

Puis-je utiliser une liste de proxys gratuits pour un scraper en production?

Vous pouvez, et le coût réapparaît ailleurs. Avec un taux de survie autour d'un tiers, chaque tranche de 50,000 récupérations réussies demande environ 150,000 tentatives, majoritairement des timeouts lents, plus la revalidation de la liste, les health checks, l'éviction des IP mortes et les relances des batchs terminés avec des trous silencieux. C'est un projet de systèmes distribués non rémunéré posé sous votre travail réel, et il coûte généralement plus en temps d'ingénierie qu'un plan ne coûte en argent.

Utiliser HTTPS rend-il un proxy gratuit sûr?

Cela aide, et ce n'est pas suffisant. Le chiffrement empêche un proxy passif de lire ou de modifier le corps de la page, ce qui neutralise l'essentiel des injections documentées par les chercheurs. L'opérateur apprend toujours chaque nom d'hôte que vous demandez et à quel moment, il peut ralentir ou couper des connexions de façon sélective, et il peut proposer son propre certificat à tout client qui saute la vérification. HTTPS réduit le rayon d'impact; il ne transforme pas un hôte anonyme en hôte digne de confiance.

VP

Viktor Petrov

Architecte data science · Crawlbase

Architecte data science chez Crawlbase. Travaille sur les modèles qui rendent le crawling à grande échelle fiable face aux défenses anti-bot modernes.