Residential en datacenter proxies: wanneer ze falen, en hoe je kiest

Het dilemma van de geoblokkeerde onderzoeker

Je zit in een koffietent in Lissabon en probeert in te loggen op een no-KYC-exchange die je zes maanden geleden vanuit een ander land gebruikte, maar de voorpagina van de exchange toont nu een beleefd juridisch bericht in plaats van een inlogformulier. Je weet dat een proxy je erlangs krijgt. Je opent drie browsertabs met providers, en binnen tien seconden verdrink je in prijsniveaus met labels als "datacenter," "residential," "mobiel" en "ISP," elk ergens tussen twee cent en twaalf dollar per gigabyte. De technische afweging is echt en die doet ertoe. Kies de verkeerde categorie en je verbrandt geld aan bandbreedte die je niet nodig had, of je krijgt een CAPTCHA-muur zodra je op "inloggen" klikt. Kies de juiste en je merkt niet eens dat de proxy er is.

Dit is een inleiding tot de vier proxy-categorieën, hoe anti-botsystemen ze van elkaar onderscheiden, waar de IP's vandaan komen, en welke bij welke taak past. Aan het eind hebben we een sterke redactionele positie over hoe we proxy-vermeldingen in deze directory beoordelen, en die positie is een direct gevolg van de technische feiten in het midden.

De vier categorieën, in gewone taal

Een proxy is gewoon een doorgeefluik. Je verkeer verlaat je machine, landt op iemand anders zijn machine, en verlaat het openbare internet met het IP-adres van die machine. De vier categorieën verschillen in wie die machine bezit en op welk netwerk die leeft.

• Datacenter-proxies draaien op cloudinfrastructuur. Het exit-IP behoort toe aan AWS, Azure, OVH, Hetzner of een goedkope VPS-host in Boekarest. Ze zijn goedkoop, vaak onder twee dollar per gigabyte en soms flatrate per IP, en ze zijn snel omdat de onderliggende hardware op tier-one-peering zit. Ze zijn ook triviaal te identificeren: elk anti-botsysteem kan het ASN van het IP opzoeken, "HOSTING" zien, en besluiten dat geen enkele echte consument om drie uur 's nachts op een Hetzner-rack sneakers aan het browsen is.
• Residential-proxies routeren via echte consumentenbroadbandverbindingen. Het exit-IP behoort toe aan Comcast, Free, Deutsche Telekom, NTT of wie dan ook thuisinternet levert in het betreffende land. Ze kosten tussen drie en vijftien dollar per gigabyte. Ze zijn trager omdat consumenten-uplinks trager zijn, en ze zijn moeilijker te blokkeren omdat het blokkeren van het IP-blok ook elke echte abonnee blokkeert die dat blok deelt.
• Mobiele proxies routeren via 4G- of 5G-carriers. Het exit-IP behoort toe aan Vodafone, Verizon, Orange of een carrier-grade NAT-pool die mogelijk met duizenden echte telefoons wordt gedeeld. Ze zijn de duurste categorie, vaak twintig dollar per gigabyte of meer, en de traagste. Ze zijn ook het meest veerkrachtig omdat mobiele carriers kleine pools van IP's hergebruiken over enorme aantallen abonnees, en het blokkeren van één mobiel IP meer legitieme gebruikers straft dan bots vangt.
• ISP-proxies zijn een hybride die rond 2020 ontstond. De hardware zit in een datacenter, wat alles snel houdt, maar het IP zelf is uitgegeven aan een echte ISP zoals Comcast Business of AT&T en vervolgens geleased of anderszins verkregen door de proxy-operator. Ze zien er residential uit op ASN-niveau en presteren als datacenter. Ze hebben premium-prijzen en het aanbod is beperkt.

Hoe anti-botsystemen besluiten dat je een proxy bent

Er is geen enkele test. Moderne botmanagement-stacks combineren vier signaalfamilies en wegen die samen.

Het eerste signaal is het ASN, het Autonomous System Number. Zie het als de postcode van het openbare internet. Elk IP-blok op aarde is geregistreerd bij een organisatie, en die organisatie is getagd als HOSTING, ISP, MOBILE, EDU, GOV of iets dergelijks. Datacenter-proxies leven op HOSTING-ASN's en dat label alleen is meestal genoeg om ze te markeren. Residential- en mobiele proxies leven respectievelijk op ISP- en MOBILE-ASN's, wat op zichzelf legitiem lijkt.

Het tweede signaal is reverse DNS. Echt Comcast-residential-IP lost meestal op naar iets als c-73-148-22-1.hsd1.ca.comcast.net. Een datacenter-IP lost op naar iets als ec2-3-91-12-44.compute-1.amazonaws.com. Anti-bot-vendors onderhouden patroonbibliotheken.

Het derde signaal is IP-reputatiescore. Commerciële databases zoals IPQualityScore, MaxMind en IP2Proxy houden bij welke IP's recent open poorten hebben gedraaid, honeypots hebben geraakt of bekende doelwitten hebben gescraped, en ze verkopen die score aan iedereen die het wil hebben. Cloudflare's botmanagement, Akamai Bot Manager, DataDome en HUMAN verwerken dit allemaal in hun beslissingen, en Cloudflare's eigen "Bot Score" is sinds de uitrol in 2024 het de facto industriesignaal geworden.

Het vierde signaal is de verbindingsvingerafdruk. TLS JA4-fingerprinting, die in 2024 volwassen werd, laat een server identificeren welke clientlibrary de handshake heeft gegenereerd. Een Python-requests-sessie ziet er op de draad totaal anders uit dan een Chrome-browser, nog voordat er ook maar een HTTP-verzoek is verstuurd. Voeg gedragsmetingen toe (muisbewegingen, scrollsnelheid, toetsaanslagtiming) en je hebt een stack die een echt mens op een residential IP kan onderscheiden van een headless scraper op hetzelfde residential IP.

Het praktische gevolg is een scherpe asymmetrie. Datacenter-proxies falen op signaal één en zijn klaar. Residential- en mobiele proxies halen signaal één en twee schoon, wat ze toegang geeft. Ze kunnen nog steeds verliezen op signalen drie en vier als de operator slordig is.

Waar residential-IP's vandaan komen

Dit is het deel dat de marketingpagina's niet adverteren. Wanneer een provider zegt "we hebben dertig miljoen residential IP's," bezitten ze niet dertig miljoen woningen. Ze opereren een peer-to-peer-relaynetwerk waar de exitnodes gewone consumentenapparaten zijn die op de een of andere manier hebben ingestemd met het doorsturen van verkeer van derden.

Het historische referentiegeval is Bright Data, voorheen Luminati Networks, dat jarenlang een dochteronderneming was van Hola VPN. Hola was een gratis VPN met een opmerkelijke voetnoot in de servicevoorwaarden: in ruil voor de gratis tier stemden gebruikers ermee in dat hun bandbreedte werd doorverkocht aan Luminati's commerciële proxysklanten. Het model werd bekendgemaakt, maar de bekendmaking stond diep in de kleine lettertjes, en de meeste gebruikers hadden geen idee dat hun thuis-IP door iemand anders werd gebruikt om e-commercesites te scrapen. De regeling was onderwerp van een langlopende Amerikaanse class action die in 2024 werd geschikt, waarbij Bright Data de legitimiteit van zijn huidige opt-in-flow bleef verdedigen.

Het bredere patroon houdt aan in de hele industrie. Gratis utility-apps, VPN's, adblockers, mobiele spellen en beloningsapps bundelen vaak een SDK die het apparaat van de gebruiker omzet in een residential-proxy-exit terwijl ze slapen. Soms is de bekendmaking eerlijk, soms is die begraven, en af en toe is de SDK dichter bij adware dan bij legitieme toestemming. De EFF en verschillende academische groepen hebben het spectrum gedocumenteerd, en de les is consistent: wanneer je residential-proxy-bandbreedte koopt, betaal je meestal voor de thuisverbinding van iemand anders, en die iemand anders snapt dat mogelijk wel of niet.

De proxy koppelen aan de taak

Voor de meeste taken is het juiste antwoord voor de hand liggend zodra je weet wat je doet.

• SEO- en prijsscraping op coöperatieve sites. Datacenter is prima en alles anders is weggegooid geld.
• Sneakerdrops, ticketwachtrijen, e-commerce-voorraadmonitoring. Residential is verplicht omdat de doelstacks allemaal Akamai of PerimeterX-equivalenten draaien.
• Ad-verificatie en brand-safety-crawls. Mobiel is de voorkeur omdat de gerenderde advertentie moet overeenkomen met wat een echte mobiele gebruiker ziet, inclusief carrier-level geo.
• Geo-bypass voor een no-KYC-exchange of een gecensureerd nieuwssite. Residential is de praktische ondergrens. Datacenter wordt geblokkeerd aan de voordeur. Mobiel werkt maar je betaalt een premium voor capaciteit die je niet nodig hebt.
• Scrapen van KYC-required sites voor onderzoek, OSINT, threat intel. Residential, met sticky sessions als je een ingelogde staat moet behouden.

De no-KYC-cryptogebruiker wil meestal precies één ding, namelijk residential-exit in een specifiek land met een stabiele sessie voor de duur van een trade. Datacenter komt er niet doorheen. Mobiel is overkill. ISP-proxies zijn een interessante middenweg als je een schone leverancier kunt vinden.

Wat dit verandert voor de Directory

We beoordelen proxy-vermeldingen op drie assen, en de volgorde doet ertoe.

Eerst is transparantie aan de aanbodzijde. We willen een publieke, in gewone taal gestelde uitleg van waar de residential-IP's vandaan komen, hoe de toestemmingsflow eruitziet voor de exitnode-gebruiker, en welke third-party-SDK's in de keten zitten. Providers die een duidelijk antwoord publiceren krijgen volle punten. Providers die reageren met marketingtekst worden naar beneden bijgesteld. Providers die we niet kunnen verifiëren krijgen een waarschuwingsvlag op de vermelding, ongeacht hoe goedkoop ze zijn.

Tweede is sessiecontrole. Sticky sessions die minstens tien minuten overleven, configureerbare rotatie, land- en stadstargeting die daadwerkelijk werkt, en schoon afhandelen van HTTPS zonder certificaten opnieuw te ondertekenen. Een proxy die je IP halverwege het inloggen roteert is erger dan geen proxy.

Derde is prijs per succesvol verzoek, niet prijs per gigabyte. Een residential-provider die vier dollar per gigabyte vraagt maar op de helft van de Cloudflare-beschermde doelwitten faalt, is in de praktijk duurder dan een provider van zes dollar die negen van de tien keer slaagt.

Het ruwe IP-aantal is het kopnummer op de homepage van elke provider en het is vrijwel betekenisloos. Dertig miljoen endpoints over een troebele toeleveringsketen is een slechter product dan twee miljoen endpoints met gedocumenteerde toestemming. We wegen dienovereenkomstig, en onze bestaande vermeldingen voor [abcproxy](/service/abcproxy) en [bitcoinproxy](/service/bitcoinproxy) worden op deze basis gescoord. Verwacht dat de rest van de proxy-categorie tegen hetzelfde rubriek wordt herbeoordeeld gedurende de rest van het jaar.

Bronnen

• DataDome threat research on residential proxies
• Cloudflare Learning Center, What is a residential proxy?
• Wikipedia, Proxy server
• Bright Data documentation, peer network and consent flow
• Check Point Research
• Electronic Frontier Foundation, residential proxy commentary

Bewerkingslog

• 2024-09-12 : Eerste concept samengesteld uit aantekeningen gemaakt tijdens een week van testen van twaalf proxy-providers tegen een lijst van Cloudflare-beschermde doelwitten. Datacenter-slaagpercentage gemeten op onder negen procent op de beschermde subset, residential op eenenzeventig procent, mobiel op vierennegentig procent. Cijfers gebruikt om de use-case-sectie te ankeren.
• 2024-09-29 : Herschreven de sectie over de aanbodzijde na een lang telefoongesprek met een oud-Luminati-ingenieur die door de Hola-toestemmingsflow liep zoals die pre-settlement bestond. Wetstaal rond de class action van 2024 aangescherpt.
• 2024-10-08 : De TLS JA4-paragraaf toegevoegd nadat John Althouse's bijgewerkte fingerprint-onderzoek de ronde deed. Een eerdere paragraaf over JA3 geschrapt die binnen twee maanden na schrijven verouderd was geworden.
• 2024-10-21 : Redacteur gaf aan dat het oorspronkelijke slot te mild overkwam voor providers die we niet kunnen verifiëren. Directory-oordeel herschreven om de transparantie-eis aan de aanbodzijde expliciet te maken en te committeren aan herbeoordeling van bestaande vermeldingen.
• 2024-10-30 : Laatste slag voor cadans en lengte. Drie retorische vragen in de opening getrimd die hetzelfde werk deden, en de ISP-proxy- en mobiele-proxy-paragrafen in de use-case-sectie samengevoegd om te voorkomen dat de opsomming te lang werd.