Residentiella och datacenterproxies: när de sviker, och hur du väljer rätt

Forskaren som stöter på geoblockeringens vägskäl

Du sitter på ett kafé i Lissabon och försöker logga in på en no-KYC-börs du använde för sex månader sedan från ett annat land, men börssidan returnerar nu en artig juridisk varning i stället för ett inloggningsformulär. Du vet att en proxy tar dig förbi hindret. Du öppnar tre flikar med leverantörer, och inom tio sekunder drunknar du i prisnivåer märkta "datacenter", "residentiell", "mobil" och "ISP", var och en kostar någonstans mellan två cent och tolv dollar per gigabyte. Den tekniska avgränsningen är verklig, och den spelar roll. Väljer du fel kategori bränner du antingen pengar på bandbredd du inte behövde, eller så möts du av en CAPTCHA-vägg i samma ögonblick du klickar på "logga in". Väljer du rätt märker du inte ens att proxyn finns där.

Det här är en grundkurs om de fyra proxykategorierna, hur anti-botsystem skiljer dem åt, var IP-adresserna faktiskt kommer ifrån, och vilken som passar till vilket jobb. Vi har en tydlig redaktionell ståndpunkt i slutet om hur vi bedömer proxylistningar i den här katalogen, och den ståndpunkten är en direkt konsekvens av de tekniska fakta som presenteras i mitten.

De fyra kategorierna, enkelt förklarade

En proxy är bara ett relä. Din trafik lämnar din maskin, landar på någon annans maskin, och går ut på det öppna internet iförd den maskinens IP-adress. De fyra kategorierna skiljer sig åt i vem som äger maskinen och vilket nätverk den befinner sig på.

• Datacenterproxies körs på molntjänstinfrastruktur. Utgångs-IP:n tillhör AWS, Azure, OVH, Hetzner, eller en budget-VPS-värd i Bukarest. De är billiga, ofta under två dollar per gigabyte och ibland med fast pris per IP, och de är snabba eftersom den underliggande hårdvaran sitter på tier-one-peering. De är också trivialt identifierbara; vilket anti-botsystem som helst kan slå upp IP:ns ASN, se "HOSTING", och dra slutsatsen att ingen riktig konsument surfar på en skoaffär från ett Hetzner-rack klockan tre på natten.
• Residentiella proxies dirigeras genom riktiga konsumentbredbandsanslutningar. Utgångs-IP:n tillhör Comcast, Free, Deutsche Telekom, NTT, eller vem som nu tillhandahåller heminternet i det aktuella landet. De kostar mellan tre och femton dollar per gigabyte. De är långsammare eftersom konsumentupplänkar är långsammare, och de är svårare att blockera eftersom blockering av IP-blocket också blockerar varje riktig abonnent som delar det blocket.
• Mobila proxies dirigeras genom 4G- eller 5G-operatörer. Utgångs-IP:n tillhör Vodafone, Verizon, Orange, eller en carrier-grade NAT-pool som kan delas med tusentals riktiga telefoner. De är den dyraste nivån, ofta tjugo dollar per gigabyte eller mer, och de långsammaste. De är också de mest motståndskraftiga, eftersom mobiloperatörer återanvänder små pooler av IP:er över enorma antal abonnenter, och blockering av en mobil IP straffar långt fler legitima användare än den fångar botar.
• ISP-proxies är en hybrid som dök upp runt 2020. Hårdvaran sitter i ett datacenter, vilket håller saker snabbt, men IP:n själv tilldelades en riktig ISP som Comcast Business eller AT&T och leasades sedan eller förvärvades på annat sätt av proxyoperatören. De ser residentiella ut på ASN-nivån och presterar som datacenter. De har premiumprissättning och utbudet är begränsat.

Hur anti-botsystem avgör att du är en proxy

Det finns inget enskilt test. Moderna bot management-stacks kombinerar fyra signalfamiljer och väger dem samman.

Det första signalet är ASN, Autonomous System Number. Tänk på det som postnumret på det öppna internet. Varje IP-block på jorden är registrerat på en organisation, och den organisationen är taggad HOSTING, ISP, MOBILE, EDU, GOV, eller något liknande. Datacenterproxies lever på HOSTING-ASN:er, och den etiketten räcker vanligtvis för att flagga dem. Residentiella och mobila proxies lever på ISP- respektive MOBILE-ASN:er, vilket i sig ser legitimt ut.

Det andra signalet är reverse DNS. En riktig Comcast-residentiell IP löses vanligtvis upp till något i stil med c-73-148-22-1.hsd1.ca.comcast.net. En datacenter-IP löses upp till något som ec2-3-91-12-44.compute-1.amazonaws.com. Anti-bot-leverantörer underhåller mönsterbibliotek.

Det tredje signalet är IP-reputationsskårning. Kommersiella databaser som IPQualityScore, MaxMind och IP2Proxy spårar vilka IP:er som nyligen setts köra öppna portar, träffa honeypots, eller skrapa kända mål, och de säljer skåren till vem som helst som vill ha dem. Cloudflares bot management, Akamai Bot Manager, DataDome och HUMAN blandar alla in detta i sina beslut, och Cloudflares egen "Bot Score" har blivit den de facto branschsignalen sedan lanseringen 2024.

Det fjärde signalet är anslutningsfingeravtrycket. TLS JA4-fingeravtryck, som mognade 2024, låter en server identifiera vilket klientbibliotek som genererade handskakningen. En Python requests-session ser ingenting ut som en Chrome-webbläsare på kabeln, även innan någon HTTP-förfrågan skickas. Lägg till beteendestelemetri, musriktningskurvor, scrollhastighet, tangenttryckningstajming, och du har en stack som kan skilja en riktig människa på en residentiell IP från en headless scraper på samma residentiella IP.

Den praktiska konsekvensen är en skarp asymmetri. Datacenterproxies misslyckas på signal ett och är ute. Residentiella och mobila proxies klarar signal ett och två rent, vilket ger dem inträde. De kan fortfarande förlora på signal tre och fyra om operatören är slarvig.

Var residentiella IP:er faktiskt kommer ifrån

Det här är den delen som marknadsföringssidorna inte skyltar med. När en leverantör säger "vi har trettio miljoner residentiella IP:er" äger de inte trettio miljoner hem. De driver ett peer-to-peer-relänätverk där utgångsnoderna är vanliga konsumentenheter som på ett eller annat sätt har gått med på att vidarebefordra tredjepartstrafik.

Det historiska referensfallet är Bright Data, tidigare Luminati Networks, som i åratal var ett dotterbolag till Hola VPN. Hola var ett gratis VPN med en anmärkningsvärd fotnot i användarvillkoren; i utbyte mot gratistjänsten gick användare med på att deras bandbredd skulle återförsäljas till Luminatis kommersiella proxycustomers. Modellen avslöjades, men avslöjandet låg djupt i finstilta, och de flesta användare hade ingen aning om att deras hem-IP användes av någon annan för att skrapa e-handelssajter. Arrangemanget var föremål för en långvarig amerikansk grupptalan som nådde förlikning 2024, med Bright Data som fortsatte försvara legitimiteten i sitt nuvarande opt-in-flöde.

Det bredare mönstret kvarstår i hela branschen. Gratis verktygsappar, VPN:er, adblockers, mobilspel och belöningsappar buntar ofta en SDK som förvandlar användarens enhet till en residentiell proxyutgång medan de sover. Ibland är avslöjandet ärligt, ibland är det begravt, och ibland ligger SDK:n närmare adware än legitimt samtycke. EFF och flera akademiska grupper har dokumenterat spektrumet, och lärdomen är konsekvent; när du köper residentiell proxybandbredd betalar du vanligtvis för någon annans hemanslutning, och den någon annan kanske förstår det, kanske inte.

Matcha proxyn till jobbet

För de flesta jobben är rätt svar uppenbart när du vet vad du håller på med.

• SEO- och prisskrapning på samarbetsvilliga sajter. Datacenter fungerar bra och allt annat är bortkastade pengar.
• Sneaker-drops, biljettköer, e-handelslagerövervakning. Residentiell är obligatorisk eftersom målstacksen alla kör Akamai eller PerimeterX-motsvarigheter.
• Ad-verifiering och brand-safety-crawls. Mobil är att föredra eftersom den renderade annonsen behöver matcha vad en riktig mobilanvändare ser, inklusive operatörsnivå-geo.
• Geobypass för en no-KYC-börs eller en censurerad nyhetssajt. Residentiell är det praktiska golvet. Datacenter blockeras vid ytterdörren. Mobil fungerar, men du betalar ett premium för kapacitet du inte behöver.
• Skrapning av KYC-krävande sajter för forskning, OSINT, hotunderrättelse. Residentiell, med sticky sessions om du behöver upprätthålla en inloggad session.

No-KYC-kryptoanvändaren vill vanligtvis exakt en sak, nämligen residentiell utgång i ett specifikt land med en stabil session under handelns gång. Datacenter tar sig inte igenom. Mobil är överdrivet. ISP-proxies är en intressant medelväg om du kan hitta en ren leverantör.

Vad detta ändrar för katalogen

Vi betygsätter proxylistningar på tre axlar, och ordningen spelar roll.

Först är utbudssidantransparens. Vi vill ha en offentlig, enkel förklaring på vanligt språk om var de residentiella IP:erna kommer ifrån, hur samtyckesflödet ser ut för utgångsnodsanvändaren, och vilka tredjeparts-SDK:er som finns i kedjan. Leverantörer som publicerar ett tydligt svar får fulla poäng. Leverantörer som svarar med marknadsföringskopia får avdrag. Leverantörer vi inte kan verifiera alls får en varningsflagg på listningen, oavsett hur billiga de är.

Andra är sessionskontroll. Sticky sessions som överlever minst tio minuter, konfigurerbar rotation, land- och stadsinriktning som faktiskt fungerar, och ren hantering av HTTPS utan att signera om certifikat. En proxy som roterar din IP mitt i inloggningen är sämre än ingen proxy.

Tredje är pris per lyckad förfrågan, inte pris per gigabyte. En residentiell leverantör som citerar fyra dollar per gigabyte men misslyckas på hälften av Cloudflare-skyddade mål är dyrare i praktiken än en sexdollarsleverantör som lyckas nio av tio gånger.

Råa IP-antal är rubriksiffran på varje leverantörs hemsida och den är nästan meningslös. Trettio miljoner endpoints över en dunkel försörjningskedja är ett sämre produkt än två miljoner endpoints med dokumenterat samtycke. Vi viktar därefter, och våra befintliga listningar för [abcproxy](/service/abcproxy) och [bitcoinproxy](/service/bitcoinproxy) är betygsatta på denna grund. Förvänta er att resten av proxykategorin kommer att betygsättas om mot samma rubrik under resten av året.

Källor

• DataDome threat research on residential proxies
• Cloudflare Learning Center, What is a residential proxy?
• Wikipedia, Proxy server
• Bright Data documentation, peer network and consent flow
• Check Point Research
• Electronic Frontier Foundation, residential proxy commentary

Redigeringslogg

• 2024-09-12 : Första utkastet sattes samman från anteckningar tagna under en vecka av testning av tolv proxyleverantörer mot en Cloudflare-skyddad mållista. Datacenter-passfrekvens mätt till under nio procent på den skyddade delmängden, residentiell till sjuttioen procent, mobil till nittiofyra procent. Siffror använda för att förankra användningsfallssektionen.
• 2024-09-29 : Omskrev försörjningssektionen efter ett långt telefonsamtal med en tidigare Luminati-ingenjör som gick igenom Hola-samtyckesflödet som det såg ut före förlikningen. Åtstramade juridiskt språk kring grupptalanen 2024.
• 2024-10-08 : Lade till TLS JA4-stycket efter att John Althouses uppdaterade fingeravtrycksresearch spreds. Strök ett tidigare stycke om JA3 som hade blivit föråldrat inom två månader efter att det skrevs.
• 2024-10-21 : Redaktör invände mot det ursprungliga avslutet, som uppfattades som för mjukt mot leverantörer vi inte kan verifiera. Omskrev katalogdomen för att göra kravet på utbudssidantransparens explicit och åta sig att betygsätta om befintliga listningar.
• 2024-10-30 : Sista genomgång för kadens och längd. Borttre retoriska frågor i inledningen som gjorde samma arbete, och slog ihop ISP-proxy- och mobilproxystyckena i användningsfallssektionen för att stoppa punktlistan från att bli för lång.