Proxies résidentiels, datacenter : les failles de chacun, le bon choix

Le dilemme du chercheur confronté au géoblocage

Vous êtes installé dans un café à Lisbonne et tentez de vous connecter à un exchange no-KYC utilisé il y a six mois depuis un autre pays. La page d'accueil affiche désormais un avis juridique poli à la place du formulaire de connexion. Vous savez qu'un proxy vous permettra de contourner cet obstacle. Vous ouvrez trois onglets de fournisseurs, et en dix secondes vous vous noyez dans des grilles tarifaires intitulées « datacenter », « résidentiel », « mobile » et « FAI », dont les prix oscillent entre deux cents et douze dollars par gigaoctet. Le choix technique est réel, et il compte. Opter pour la mauvaise catégorie, c'est brûler de l'argent en bande passante inutile ou heurter un mur CAPTCHA dès le clic sur « se connecter ». Choisir la bonne, c'est ne plus remarquer que le proxy est là.

Voici une introduction aux quatre catégories de proxies, à la manière dont les systèmes anti-bot les distinguent, à l'origine réelle des IP, et au type d'usage auquel chacune correspond. Nous défendrons en conclusion une position éditoriale forte sur la notation des listings proxy dans ce répertoire, position qui découle directement des réalités techniques du secteur.

Les quatre catégories, simplement

Un proxy n'est qu'un relais. Votre trafic quitte votre machine, atterrit sur celle d'un tiers, puis rejoint l'internet public sous l'adresse IP de cette machine. Les quatre catégories se distinguent selon le propriétaire de la machine et le réseau sur lequel elle repose.

• Proxies datacenter. Ils tournent sur une infrastructure cloud. L'IP de sortie appartient à AWS, Azure, OVH, Hetzner, ou à un hébergeur VPS low-cost à Bucarest. Bon marché, souvent moins de deux dollars par gigaoctet, parfois à tarif fixe par IP, et rapides car le matériel sous-jacent repose sur du peering de niveau un. Ils sont aussi trivialement identifiables : tout système anti-bot peut consulter l'ASN de l'IP, y lire « HOSTING », et en déduire qu'aucun véritable consommateur ne consulte un site de baskets depuis un rack Hetzner à trois heures du matin.
• Proxies résidentiels. Ils acheminent le trafic via de véritables connexions haut débit grand public. L'IP de sortie appartient à Comcast, Free, Deutsche Telekom, NTT, ou à tout autre fournisseur d'accès internet domestique du pays visé. Leur coût se situe entre trois et quinze dollars par gigaoctet. Ils sont plus lents car les uplinks grand public le sont aussi, et plus difficiles à bloquer car le blocage d'un bloc IP pénaliserait également l'ensemble des véritables abonnés qui le partagent.
• Proxies mobiles. Ils routent par l'intermédiaire d'opérateurs 4G ou 5G. L'IP de sortie appartient à Vodafone, Verizon, Orange, ou à un pool NAT opérateur partagé avec des milliers de véritables téléphones. C'est le niveau le plus coûteux, souvent vingt dollars par gigaoctet ou davantage, et le plus lent. C'est aussi le plus résilient, car les opérateurs mobiles réutilisent de petits pools d'IP au sein d'une base d'abonnés immense ; bloquer une IP mobile frappe bien plus d'utilisateurs légitimes qu'il n'attrape de bots.
• Proxies FAI. Hybride apparu vers 2020. Le matériel est hébergé en datacenter, ce qui préserve la rapidité, mais l'IP elle-même a été attribuée à un véritable FAI comme Comcast Business ou AT&T, puis louée ou acquise par l'opérateur proxy. Ils apparaissent résidentiels au niveau ASN et performent comme du datacenter. Tarifs premium, offre limitée.

Comment les systèmes anti-bot décident que vous êtes un proxy

Il n'existe pas de test unique. Les piles modernes de gestion de bots combinent quatre familles de signaux qu'elles pondèrent entre elles.

Le premier signal est l'ASN, le Numéro de Système Autonome. Pensez-y comme au code postal de l'internet public. Chaque bloc IP sur terre est enregistré auprès d'une organisation étiquetée HOSTING, ISP, MOBILE, EDU, GOV, ou similaire. Les proxies datacenter reposent sur des ASN HOSTING, et cette seule étiquette suffit généralement à les signaler. Les proxies résidentiels et mobiles s'appuient respectivement sur des ASN ISP et MOBILE, ce qui à lui seul paraît légitime.

Le deuxième signal est le DNS inverse. Une véritable IP résidentielle Comcast se résout généralement en quelque chose comme c-73-148-22-1.hsd1.ca.comcast.net. Une IP datacenter se résout en quelque chose comme ec2-3-91-12-44.compute-1.amazonaws.com. Les fournisseurs anti-bot maintiennent des bibliothèques de motifs.

Le troisième signal est le score de réputation IP. Des bases de données commerciales comme IPQualityScore, MaxMind et IP2Proxy suivent les IP récemment observées avec des ports ouverts, ayant heurté des honeypots, ou scrapant des cibles connues, et elles revendent ce score à qui le souhaite. La gestion de bots de Cloudflare, Akamai Bot Manager, DataDome et HUMAN intègrent toutes ces données dans leurs décisions, et le « Bot Score » propre à Cloudflare est devenu le signal de fait de l'industrie depuis son déploiement en 2024.

Le quatrième signal est l'empreinte de connexion. L'empreinte TLS JA4, qui a mûri en 2024, permet à un serveur d'identifier quelle bibliothèque client a généré la poignée de main. Une session Python requests ne ressemble en rien à un navigateur Chrome sur le réseau, avant même l'envoi de la moindre requête HTTP. Ajoutez-y la télémétrie comportementale (courbes de souris, vitesse de défilement, timing des frappes), et vous obtenez une pile capable de distinguer un véritable humain sur une IP résidentielle d'un scraper headless exploitant la même IP résidentielle.

La conséquence pratique est une asymétrie marquée. Les proxies datacenter échouent au premier signal, et c'en est fini. Les proxies résidentiels et mobiles passent proprement les signaux un et deux, ce qui leur ouvre la porte. Ils peuvent néanmoins échouer sur les signaux trois et quatre si l'opérateur est négligent.

D'où viennent réellement les IP résidentielles

Voici la partie que les pages marketing passent sous silence. Quand un fournisseur affiche « trente millions d'IP résidentielles », il ne possède pas trente millions de foyers. Il exploite un réseau relais pair-à-pair dont les nœuds de sortie sont des appareils grand public ordinaires qui ont, d'une manière ou d'une autre, accepté de relayer du trafic tiers.

Le cas de référence historique est Bright Data, anciennement Luminati Networks, qui fut pendant des années une filiale de Hola VPN. Hola proposait un VPN gratuit assorti d'une note de bas de page notable dans ses conditions de service : en échange du niveau gratuit, les utilisateurs acceptaient que leur bande passante soit revendue aux clients proxy commerciaux de Luminati. Le modèle était divulgué, mais la divulgation se trouvait au fin fond des petits caractères, et la plupart des utilisateurs ignoraient que leur IP domestique servait à quelqu'un d'autre pour scraper des sites e-commerce. Cet arrangement fit l'objet d'une class action américaine de longue haleine qui aboutit à un règlement en 2024, Bright Data continuant de défendre la légitimité de son flux d'opt-in actuel.

Le schéma plus large persiste dans toute l'industrie. Applications utilitaires gratuites, VPN, bloqueurs de publicité, jeux mobiles et applications de récompense intègrent fréquemment un SDK qui transforme l'appareil de l'utilisateur en sortie proxy résidentielle pendant son sommeil. La divulgation est parfois honnête, parfois enfouie, et il arrive que le SDK relève davantage de l'adware que du consentement légitime. L'EFF et plusieurs groupes académiques ont documenté ce spectre, et l'enseignement est constant : quand vous achetez de la bande passante proxy résidentielle, vous payez généralement pour la connexion domestique d'un tiers, et ce tiers peut ou non en avoir conscience.

Adapter le proxy au travail

Pour la plupart des tâches, la bonne réponse saute aux yeux une fois que vous maîtrisez les enjeux.

• SEO et scraping de prix sur des sites coopératifs. Le datacenter suffit amplement, le reste est argent gaspillé.
• Drops de baskets, files d'attente pour billets, surveillance d'inventaire e-commerce. Le résidentiel est indispensable, car les piles cibles fonctionnent toutes sur des équivalents Akamai ou PerimeterX.
• Vérification publicitaire et crawls de brand-safety. Le mobile est préféré, car la publicité rendue doit correspondre à ce qu'un véritable utilisateur mobile voit, y compris la géolocalisation au niveau opérateur.
• Contournement géo pour un exchange no-KYC ou un site d'actualités censuré. Le résidentiel constitue le minimum viable. Le datacenter sera bloqué à l'entrée. Le mobile fonctionne, mais vous payez un premium pour une capacité dont vous n'avez pas besoin.
• Scraping de sites nécessitant un KYC pour la recherche, l'OSINT, le renseignement sur les menaces. Résidentiel, avec des sessions sticky si vous devez maintenir un état connecté.

L'utilisateur crypto no-KYC ne recherche généralement qu'une chose : une sortie résidentielle dans un pays précis, avec une session stable pendant la durée d'un trade. Le datacenter ne passera pas. Le mobile est excessif. Les proxies FAI constituent une option intermédiaire intéressante si vous trouvez un fournisseur propre.

Ce que cela change pour le Répertoire

Nous notons les listings proxy sur trois axes, et l'ordre importe.

Premièrement, la transparence côté offre. Nous attendons une explication publique, en langage clair, de l'origine des IP résidentielles, de la teneur du flux de consentement pour l'utilisateur du nœud de sortie, et des SDK tiers présents dans la chaîne. Les fournisseurs qui publient une réponse claire obtiennent la note maximale. Ceux qui répondent par du marketing sont pénalisés. Ceux que nous ne pouvons pas vérifier du tout se voient apposer un avertissement sur le listing, quelle que soit leur tarification.

Deuxièmement, le contrôle de session. Des sessions sticky qui survivent au moins dix minutes, une rotation configurable, un ciblage pays et ville qui fonctionne réellement, et une gestion propre du HTTPS sans re-signer les certificats. Un proxy qui fait tourner votre IP au milieu d'une connexion est pire qu'aucun proxy.

Troisièmement, le prix par requête réussie, et non le prix par gigaoctet. Un fournisseur résidentiel qui annonce quatre dollars par gigaoctet mais échoue sur la moitié des cibles protégées par Cloudflare revient plus cher en pratique qu'un fournisseur à six dollars qui réussit neuf fois sur dix.

Le nombre brut d'IP est le chiffre phare affiché sur la page d'accueil de chaque fournisseur, et il est presque dépourvu de sens. Trente millions de points de terminaison sur une chaîne d'approvisionnement opaque constituent un produit inférieur à deux millions de points de terminaison assortis d'un consentement documenté. Nous pondérons en conséquence, et nos listings existants pour [abcproxy](/service/abcproxy) et [bitcoinproxy](/service/bitcoinproxy) sont notés sur cette base. Le reste de la catégorie proxy sera réévalué selon la même grille au cours des mois à venir.

Sources

• Recherche sur les menaces de DataDome concernant les proxies résidentiels
• Centre d'apprentissage Cloudflare, Qu'est-ce qu'un proxy résidentiel ?
• Wikipedia, Serveur proxy
• Documentation Bright Data, réseau pair-à-pair et flux de consentement
• Check Point Research
• Electronic Frontier Foundation, commentaires sur les proxies résidentiels

Journal des modifications

• 2024-09-12 : Première ébauche assemblée à partir de notes prises pendant une semaine de tests de douze fournisseurs proxy contre une liste de cibles protégées par Cloudflare. Taux de réussite datacenter mesuré à moins de neuf pour cent sur le sous-ensemble protégé, résidentiel à soixante et onze pour cent, mobile à quatre-vingt-quatorze pour cent. Chiffres utilisés pour ancrer la section des cas d'usage.
• 2024-09-29 : Réécriture de la section côté offre après un long appel avec un ancien ingénieur de Luminati qui a détaillé le flux de consentement Hola tel qu'il existait avant le règlement. Serrage du langage juridique autour de la class action de 2024.
• 2024-10-08 : Ajout du paragraphe sur TLS JA4 après que les recherches d'empreintes mises à jour de John Althouse ont commencé à circuler. Suppression d'un paragraphe antérieur sur JA3 devenu obsolète en deux mois.
• 2024-10-21 : L'éditeur a contesté la conclusion originale, qui semblait trop indulgente envers les fournisseurs que nous ne pouvons pas vérifier. Réécriture du verdict du Répertoire pour rendre explicite l'exigence de transparence côté offre et s'engager à réévaluer les listings existants.
• 2024-10-30 : Passage final pour le rythme et la longueur. Élagage de trois questions rhétoriques dans l'introduction qui faisaient le même travail, et fusion des paragraphes proxy FAI et proxy mobile dans la section des cas d'usage pour empêcher la liste à puces de s'allonger excessivement.