Proxy vs. datacenter: când te prinde botul și cum scapi

Intersecția cercetătorului blocat geografic

Ești într-o cafenea din Lisabona și încerci să accesezi un exchange no-KYC pe care l-ai folosit acum șase luni din altă țară. Pagina principală îți returnează acum un anunț legal politicos în loc de formularul de autentificare. Știi că un proxy te va ajuta să treci peste obstacol. Deschizi trei file cu furnizori și, în zece secunde, te îneci în niveluri de preț etichetate „datacenter", „rezidențial", „mobil" și „ISP", fiecare costând între doi cenți și doisprezece dolari pe gigabyte. Bifurcația tehnică este reală și contează. Alegi categoria greșită și fie arzi bani pe lățime de bandă inutilă, fie primești un zid CAPTCHA în momentul în care apeși „conectare". Alegi categoria potrivită și nici măcar nu observi că proxy-ul există.

Acest text introduce cele patru categorii de proxy, explică cum le diferențiază sistemele anti-bot, de unde provin în realitate IP-urile și care se potrivește fiecărei sarcini. Avem o poziție editorială fermă la final despre cum notăm listările de proxy în acest director, iar acea poziție decurge direct din faptele tehnice prezentate mai jos.

Cele patru categorii, pe înțelesul tuturor

Un proxy este, la bază, un releu. Traficul tău pleacă de pe dispozitiv, aterizează pe mașina altcuiva și iese în internetul public purtând adresa IP a acelei mașini. Cele patru categorii diferă după cine deține mașina respectivă și în ce rețea se află.

• Proxy-uri datacenter rulează pe infrastructură cloud. IP-ul de ieșire aparține AWS, Azure, OVH, Hetzner sau unui furnizor de VPS bugetar din București. Sunt ieftine, adesea sub doi dolari pe gigabyte, uneori cu tarif fix per IP, și sunt rapide pentru că hardware-ul stă pe peering de tier-one. Sunt și trivial identificabile: orice sistem anti-bot poate căuta ASN-ul IP-ului, vedea eticheta „HOSTING" și decide că niciun consumator real nu navighează pe un magazin de sneakeri de pe un rack Hetzner la trei dimineața.
• Proxy-uri rezidențiale trec prin conexiuni reale de broadband pentru consumatori. IP-ul de ieșire aparține Comcast, Free, Deutsche Telekom, NTT sau oricui furnizează internet de acasă în țara respectivă. Costă între trei și cincisprezece dolari pe gigabyte. Sunt mai lente pentru că uplink-urile de consumatori sunt mai lente și sunt mai greu de blocat pentru că blocarea unui bloc de IP afectează și abonații reali care împart acel bloc.
• Proxy-uri mobile trec prin operatori 4G sau 5G. IP-ul de ieșire aparține Vodafone, Verizon, Orange sau unui pool de NAT la nivel de operator care poate fi împărțit cu mii de telefoane reale. Reprezintă cel mai scump nivel, adesea douăzeci de dolari pe gigabyte sau mai mult, și sunt cele mai lente. Sunt însă și cele mai reziliente, pentru că operatorii mobili refolosesc pool-uri mici de IP-uri peste numere enorme de abonați, iar blocarea unui IP mobil pedepsește mult mai mulți utilizatori legitimi decât prinde bot-uri.
• Proxy-uri ISP sunt un hibrid apărut în jurul anului 2020. Hardware-ul stă într-un datacenter, ceea ce păstrează viteza, dar IP-ul în sine a fost emis unui ISP real precum Comcast Business sau AT&T și apoi închiriat sau achiziționat altfel de operatorul de proxy. Arată rezidențial la nivel de ASN, dar performă ca un datacenter. Au preț premium și ofertă limitată.

Cum decid sistemele anti-bot că folosești un proxy

Nu există un singur test. Stack-urile moderne de management al bot-ilor combină patru familii de semnale și le cântăresc împreună.

Primul semnal este ASN, Autonomous System Number. Gândește-te la el ca la codul poștal al internetului public. Fiecare bloc de IP de pe glob este înregistrat la o organizație, iar acea organizație este etichetată HOSTING, ISP, MOBILE, EDU, GOV sau ceva similar. Proxy-urile datacenter trăiesc pe ASN-uri HOSTING, iar acea etichetă singură este de obicei suficientă pentru a le semnaliza. Proxy-urile rezidențiale și mobile trăiesc pe ASN-uri ISP și, respectiv, MOBILE, ceea ce arată legitim în sine.

Al doilea semnal este reverse DNS. Un IP rezidențial real Comcast se rezolvă de obicei în ceva de genul c-73-148-22-1.hsd1.ca.comcast.net. Un IP datacenter se rezolvă în ceva de genul ec2-3-91-12-44.compute-1.amazonaws.com. Furnizorii anti-bot mențin biblioteci de pattern-uri.

Al treilea semnal este scorul de reputație IP. Baze de date comerciale precum IPQualityScore, MaxMind și IP2Proxy urmăresc ce IP-uri au fost văzute recent rulând porturi deschise, lovind honeypot-uri sau făcând scraping pe ținte cunoscute și vând acel scor oricui îl dorește. Bot management de la Cloudflare, Akamai Bot Manager, DataDome și HUMAN îmbină toate acestea în deciziile lor, iar „Bot Score"-ul propriu al Cloudflare a devenit semnalul de facto al industriei de la lansarea sa în 2024.

Al patrulea semnal este fingerprint-ul conexiunii. Fingerprinting-ul TLS JA4, care a ajuns la maturitate în 2024, permite unui server să identifice care bibliotecă client a generat handshake-ul. O sesiune Python requests nu arată deloc ca un browser Chrome pe fir, chiar înainte ca vreo cerere HTTP să fie trimisă. Adaugă telemetrie comportamentală (curbe de mouse, viteză de scroll, timing la apăsarea tastelor) și obții un stack care poate distinge un om real pe IP rezidențial de un scraper headless pe același IP rezidențial.

Consecința practică este o asimetrie ascuțită. Proxy-urile datacenter eșuează la primul semnal și sunt eliminate. Proxy-urile rezidențiale și mobile trec primul și al doilea semnal fără probleme, ceea ce le asigură intrarea. Pot pierde în continuare la semnalele trei și patru dacă operatorul este neglijent.

De unde provin în realitate IP-urile rezidențiale

Aceasta este partea pe care paginile de marketing nu o promovează. Când un furnizor spune „avem treizeci de milioane de IP-uri rezidențiale", nu deține treizeci de milioane de case. Operează o rețea de releu peer-to-peer unde nodurile de ieșire sunt dispozitive obișnuite de consumatori care, într-un fel sau altul, au convenit să redirecționeze trafic de la terți.

Cazul de referință istoric este Bright Data, anterior Luminati Networks, care a fost ani de zile o subsidiară a Hola VPN. Hola era un VPN gratuit cu o notă de subsol notabilă în termenii de serviciu: în schimbul tier-ului gratuit, utilizatorii conveneau ca lățimea lor de bandă să fie revândută clienților comerciali de proxy ai Luminati. Modelul era dezvăluit, dar dezvăluirea era adânc în contractul cu litere mici, iar majoritatea utilizatorilor nu aveau nicio idee că IP-ul lor de acasă era folosit de altcineva pentru scraping pe site-uri de e-commerce. Aranjamentul a fost subiectul unei acțiuni de clasă de lungă durată în SUA care s-a finalizat printr-o înțelegere în 2024; Bright Data continuă să apere legitimitatea fluxului său curent de opt-in.

Pattern-ul mai larg persistă în întreaga industrie. Aplicații utilitare gratuite, VPN-uri, blocatoare de reclame, jocuri mobile și aplicații de recompense împachetează frecvent un SDK care transformă dispozitivul utilizatorului într-o ieșire de proxy rezidențial în timpul inactivității. Uneori dezvăluirea este onestă, uneori este îngropată, iar ocazional SDK-ul este mai aproape de adware decât de consimțământ legitim. EFF și mai multe grupuri academice au documentat spectrul, iar concluzia este consistentă: când cumperi lățime de bandă de proxy rezidențial, de obicei plătești pentru conexiunea de acasă a altcuiva, iar acel altcineva poate sau nu să înțeleagă acest lucru.

Potrivirea proxy-ului cu sarcina

Pentru majoritatea sarcinilor, răspunsul corect devine evident odată ce știi ce faci.

• SEO și scraping de prețuri pe site-uri cooperative. Datacenter este suficient; orice altceva înseamnă bani irosiți.
• Drop-uri de sneakeri, cozi de bilete, monitorizare de inventar e-commerce. Rezidențial este obligatoriu, pentru că stack-urile țintă rulează toate Akamai sau echivalente PerimeterX.
• Verificare de reclame și crawl-uri de brand-safety. Mobil este preferat, pentru că reclama randată trebuie să se potrivească cu ceea ce vede un utilizator mobil real, inclusiv geo la nivel de operator.
• Bypass geo pentru un exchange no-KYC sau un site de știri cenzurat. Rezidențial este minimumul practic. Datacenter va fi blocat la intrare. Mobil funcționează, dar plătești un premium pentru capacitate de care nu ai nevoie.
• Scraping de site-uri care cer KYC pentru cercetare, OSINT, inteligență de amenințări. Rezidențial, cu sesiuni sticky dacă trebuie să menții o stare de autentificare.

Utilizatorul de crypto no-KYC vrea de obicei exact un lucru: ieșire rezidențială într-o țară specifică, cu o sesiune stabilă pe durata unei tranzacții. Datacenter nu va trece. Mobil este exagerat. Proxy-urile ISP sunt un teren intermediar interesant dacă poți găsi un furnizor curat.

Ce schimbă asta pentru Director

Notăm listările de proxy pe trei axe, iar ordinea contează.

Primul este transparența supply-side. Vrem o explicație publică, în limbaj simplu, despre de unde provin IP-urile rezidențiale, cum arată fluxul de consimțământ pentru utilizatorul nodului de ieșire și ce SDK-uri third-party sunt în lanț. Furnizorii care publică un răspuns clar primesc punctaj maxim. Furnizorii care răspund cu copy de marketing sunt penalizați. Furnizorii pe care nu îi putem verifica deloc primesc un steag de avertizare pe listare, indiferent cât de ieftini sunt.

Al doilea este controlul sesiunii. Sesiuni sticky care supraviețuiesc cel puțin zece minute, rotație configurabilă, targetare pe țară și oraș care funcționează efectiv și manipulare curată a HTTPS fără re-semnare de certificate. Un proxy care îți rotește IP-ul în mijlocul autentificării este mai rău decât niciun proxy.

Al treilea este prețul per cerere reușită, nu prețul per gigabyte. Un furnizor rezidențial care citează patru dolari pe gigabyte, dar eșuează pe jumătate din țintele protejate de Cloudflare, este mai scump în practică decât unul de șase dolari care reușește nouă din zece ori.

Numărul brut de IP-uri este cifra de titlu de pe pagina principală a fiecărui furnizor și este aproape lipsit de sens. Treizeci de milioane de endpoint-uri peste un lanț supply-side tulbure reprezintă un produs mai prost decât două milioane de endpoint-uri cu consimțământ documentat. Ponderăm în consecință, iar listările noastre existente pentru [abcproxy](/service/abcproxy) și [bitcoinproxy](/service/bitcoinproxy) sunt notate pe această bază. Așteptați-vă ca restul categoriei de proxy să fie re-notat după aceeași grilă până la sfârșitul anului.

Surse

• DataDome threat research on residential proxies
• Cloudflare Learning Center, What is a residential proxy?
• Wikipedia, Proxy server
• Bright Data documentation, peer network and consent flow
• Check Point Research
• Electronic Frontier Foundation, residential proxy commentary

Jurnal de editare

• 2024-09-12 : Schiță inițială asamblată din notițe luate în timpul unei săptămâni de testare a doisprezece furnizori de proxy împotriva unei liste de ținte protejate de Cloudflare. Rata de trecere datacenter măsurată sub nouă procente pe submulțimea protejată, rezidențial la șaptezeci și unu de procente, mobil la nouăzeci și patru de procente. Numerele folosite pentru ancorarea secțiunii de use-case.
• 2024-09-29 : Rescrisă secțiunea supply-side după un apel telefonic lung cu un fost inginer Luminati care a parcurs fluxul de consimțământ Hola așa cum exista pre-settlement. Întărit limbajul juridic în jurul acțiunii de clasă din 2024.
• 2024-10-08 : Adăugat paragraful TLS JA4 după ce cercetarea actualizată de fingerprinting a lui John Althouse circula. Tăiat un paragraf anterior despre JA3 care devenise depășit în două luni de la scriere.
• 2024-10-21 : Editorul a obiectat la încheierea originală, care suna prea blând cu furnizorii pe care nu îi putem verifica. Rescris verdictul Directorului pentru a face cerința de transparență supply-side explicită și pentru a se angaja la re-notarea listărilor existente.
• 2024-10-30 : Trecere finală pentru ritm și lungime. Tăiate trei întrebări retorice în deschidere care făceau aceeași muncă și îmbinate paragrafele despre proxy ISP și proxy mobil în secțiunea de use-case pentru a opri lista cu buline să devină prea lungă.