Proxy rezydencjalne czy datacenter? Kiedy zawodzą i jak wybrać, poradnik

Rozstajne drogi badacza zza geo-blokady

Siedzisz w lizbońskiej kawiarni i próbujesz zalogować się na no-KYC giełdę, z której korzystałeś sześć miesięcy temu z innego kraju. Zamiast formularza logowania strona wyświetla uprzejme zawiadomienie prawne. Wiesz, że proxy pozwoli to ominąć. Otwierasz trzy karty przeglądarki z różnymi dostawcami i w ciągu dziesięciu sekund toniesz w poziomach cenowych oznaczonych jako datacenter, residential, mobile i ISP, każdy gdzieś między dwoma centami a dwunastoma dolarami za gigabajt. Wybór technologiczny jest realny i ma znaczenie. Zła kategoria oznacza albo wypalone pieniądze na przepustowość, której nie potrzebowałeś, albo ścianę CAPTCHA w momencie kliknięcia zaloguj. Właściwa kategoria sprawia, że proxy w ogóle nie zauważysz.

To wprowadzenie do czterech kategorii proxy, tego jak systemy antybotowe je rozróżniają, skąd faktycznie pochodzą adresy IP i które proxy pasuje do którego zadania. Na końcu przedstawiamy wyraźne stanowisko redakcyjne dotyczące tego, jak oceniamy wpisy proxy w tym katalogu, a to stanowisko jest bezpośrednią konsekwencją faktów technicznych zawartych we wcześniejszej części.

Cztery kategorie, po prostu

Proxy to tylko przekaźnik. Twój ruch opuszcza twoją maszynę, ląduje na czyjejś maszynie i wychodzi do publicznego internetu z adresem IP tej maszyny. Cztery kategorie różnią się właścicielem maszyny i siecią, w której się ona znajduje.

• Proxy datacenter działają na infrastrukturze chmurowej. Adres IP wyjściowy należy do AWS, Azure, OVH, Hetznera lub budżetowego hosta VPS w Bukareszcie. Są tanie, często poniżej dwóch dolarów za gigabajt, a czasem w cenie ryczałtowej za IP, i są szybkie, bo podstawowy sprzęt siedzi na peeringu tier-one. Są też trywialnie identyfikowalne: każdy system antybotowy może sprawdzić ASN adresu IP, zobaczyć HOSTING i uznać, że żaden prawdziwy konsument nie przegląda sklepu obuwniczego z szafy Hetznera o trzeciej w nocy.
• Proxy rezydencjalne kierują ruch przez prawdziwe łącza szerokopasmowe konsumentów. Adres IP wyjściowy należy do Comcast, Free, Deutsche Telekom, NTT lub innego dostawcy internetu domowego w danym kraju. Kosztują od trzech do piętnastu dolarów za gigabajt. Są wolniejsze, bo łącza konsumenckie są wolniejsze, i trudniejsze do zablokowania, bo blokada bloku IP dotyka też każdego prawdziwego abonenta dzielącego ten blok.
• Proxy mobilne kierują ruch przez sieci 4G lub 5G. Adres IP wyjściowy należy do Vodafone, Verizon, Orange lub puli NAT na poziomie operatora, którą może dzielić tysiące prawdziwych telefonów. To najdroższa kategoria, często dwadzieścia dolarów za gigabajt lub więcej, i najwolniejsza. Są też najbardziej odporne, bo operatorzy mobilni wykorzystują małe pule IP wśród ogromnej liczby abonentów, a zablokowanie jednego adresu mobilnego karze znacznie więcej prawdziwych użytkowników niż łapie botów.
• Proxy ISP to hybryda, która pojawiła się około 2020 roku. Sprzęt siedzi w datacenter, co utrzymuje wysoką wydajność, ale sam adres IP został przydzielony prawdziwemu ISP, takiemu jak Comcast Business lub AT&T, a następnie wydzierżawiony lub nabyty w inny sposób przez operatora proxy. Wyglądają na rezydencjalne na poziomie ASN i działają jak datacenter. Mają ceny premium, a podaż jest ograniczona.

Jak systemy antybotowe rozpoznają, że jesteś proxy

Nie ma jednego testu. Nowoczesne stosy zarządzania botami łączą cztery rodziny sygnałów i ważą je razem.

Pierwszym sygnałem jest ASN, Autonomous System Number. Możesz o tym myśleć jak o kodzie pocztowym publicznego internetu. Każdy blok IP na świecie jest zarejestrowany na organizację, a ta organizacja ma tag HOSTING, ISP, MOBILE, EDU, GOV lub podobny. Proxy datacenter działają na ASN-ach HOSTING i ta etykieta sama w sobie zazwyczaj wystarcza do ich oflagowania. Proxy rezydencjalne i mobilne działają odpowiednio na ASN-ach ISP i MOBILE, co samo w sobie wygląda autentycznie.

Drugi sygnał to reverse DNS. Prawdziwy adres IP rezydencjalny Comcast zazwyczaj rozwiązuje się do czegoś w rodzaju c-73-148-22-1.hsd1.ca.comcast.net. Adres IP datacenter rozwiązuje się do czegoś w rodzaju ec2-3-91-12-44.compute-1.amazonaws.com. Dostawcy antybotowi utrzymują biblioteki wzorców.

Trzeci sygnał to scoring reputacji IP. Komercyjne bazy danych takie jak IPQualityScore, MaxMind i IP2Proxy śledzą, które adresy IP były ostatnio widziane z otwartymi portami, atakującymi honeypoty lub scrapującymi znane cele, i sprzedają ten wynik każdemu, kto chce go kupić. Zarządzanie botami Cloudflare, Akamai Bot Manager, DataDome i HUMAN wszystkie to łączą w swoich decyzjach, a własny Bot Score Cloudflare stał się de facto branżowym sygnałem od czasu wdrożenia w 2024 roku.

Czwarty sygnał to fingerprint połączenia. Fingerprinting TLS JA4, który dojrzał w 2024 roku, pozwala serwerowi zidentyfikować, która biblioteka kliencka wygenerowała handshake. Sesja Python requests nie wygląda niczym jak przeglądarka Chrome na poziomie transmisji, zanim jeszcze zostanie wysłane jakiekolwiek żądanie HTTP. Dodaj telemetrię behawioralną (krzywe myszy, prędkość przewijania, czasowanie naciśnięć klawiszy) i masz stos, który potrafi odróżnić prawdziwego człowieka na adresie rezydencjalnym od headless scrapera na tym samym adresie rezydencjalnym.

Praktyczną konsekwencją jest ostra asymetria. Proxy datacenter zawodzą na sygnale pierwszym i są skończone. Proxy rezydencjalne i mobilne przechodzą sygnał pierwszy i drugi czysto, co kupuje im wejście. Nadal mogą przegrać na sygnałach trzecim i czwartym, jeśli operator jest niechlujny.

Skąd faktycznie pochodzą adresy IP rezydencjalne

To część, której strony marketingowe nie reklamują. Kiedy dostawca mówi, że ma trzydzieści milionów adresów IP rezydencjalnych, nie posiada trzydzieści milionów domów. Operuje siecią przekaźnikową peer-to-peer, w której węzły wyjściowe to zwykłe urządzenia konsumenckie, które w ten czy inny sposób zgodziły się na przekazywanie ruchu stron trzecich.

Historycznym przypadkiem referencyjnym jest Bright Data, dawniej Luminati Networks, które przez lata było spółką zależną Hola VPN. Hola to darmowa sieć VPN z zauważoną przypisem w swoich warunkach korzystania z usługi: w zamian za darmowy poziom użytkownicy zgodzili się, aby ich przepustowość była odsprzedawana komercyjnym klientom proxy Luminati. Model był ujawniany, ale ujawnienie było głęboko w drobnych druczkach, a większość użytkowników nie miała pojęcia, że ich domowy IP był wykorzystywany przez kogoś innego do scrapowania stron e-commerce. Ten układ był przedmiotem długotrwałego pozwu zbiorowego w USA, który zakończył się ugodą w 2024 roku, przy czym Bright Data nadal broniło legalności swojego obecnego przepływu opt-in.

Szerszy wzorzec utrzymuje się w całej branży. Darmowe aplikacje użytkowe, sieci VPN, blokery reklam, gry mobilne i aplikacje z nagrodami często zawierają SDK, które zamienia urządzenie użytkownika w węzeł wyjściowy proxy rezydencjalnego, gdy śpi. Czasami ujawnienie jest uczciwe, czasami jest zakopane, a czasami SDK jest bliżej adware niż legalnej zgody. EFF i kilka grup akademickich udokumentowało to spektrum, a wniosek jest konsekwentny: kiedy kupujesz przepustowość proxy rezydencjalnego, zazwyczaj płacisz za czyjeś domowe połączenie, a ten ktoś może to rozumieć, ale nie musi.

Dopasowanie proxy do zadania

W większości przypadków prawidłowa odpowiedź jest oczywista, gdy wiesz, co robisz.

• SEO i scrapowanie cen na przychylnych stronach. Datacenter wystarczy i cokolwiek innego to zmarnowane pieniądze.
• Dropy sneakersów, kolejki biletowe, monitorowanie zapasów e-commerce. Rezydencjalne jest obowiązkowe, bo wszystkie docelowe stosy używają Akamai lub odpowiedników PerimeterX.
• Weryfikacja reklam i crawle brand-safety. Mobilne jest preferowane, bo wyrenderowana reklama musi odpowiadać temu, co widzi prawdziwy użytkownik mobilny, w tym geo na poziomie operatora.
• Ominięcie geo-blokady dla no-KYC giełdy lub cenzurowanej strony informacyjnej. Rezydencjalne to praktyczne minimum. Datacenter zostanie zablokowane przy wejściu. Mobilne działa, ale płacisz premium za pojemność, której nie potrzebujesz.
• Scrapowanie stron wymagających KYC do badań, OSINT, threat intel. Rezydencjalne, ze sesjami sticky, jeśli musisz utrzymać stan zalogowania.

Użytkownik no-KYC crypto zazwyczaj chce dokładnie jednej rzeczy: wyjścia rezydencjalnego w konkretnym kraju ze stabilną sesją na czas transakcji. Datacenter nie przejdzie. Mobilne to przesada. Proxy ISP to interesujący środek, jeśli uda ci się znaleźć czystego dostawcę.

Co to zmienia dla Katalogu

Oceniamy wpisy proxy na trzech osiach, a kolejność ma znaczenie.

Pierwsza to transparentność źródłowa. Chcemy publicznego, zrozumiałego wyjaśnienia, skąd pochodzą adresy IP rezydencjalne, jak wygląda przepływ zgody dla użytkownika węzła wyjściowego i które SDK stron trzecich są w łańcuchu. Dostawcy, którzy publikują jasną odpowiedź, otrzymują pełną punktację. Dostawcy, którzy odpowiadają marketingowym bełkotem, są obniżani. Dostawcy, których nie możemy zweryfikować, otrzymują flagę ostrzegawczą na wpisie niezależnie od tego, jak tani są.

Druga to kontrola sesji. Sesje sticky przetrwające co najmniej dziesięć minut, konfigurowalna rotacja, targetowanie na poziomie kraju i miasta, które faktycznie działa, oraz czysta obsługa HTTPS bez podpisywania certyfikatów na nowo. Proxy, które obraca twój IP w trakcie logowania, jest gorsze niż brak proxy.

Trzecia to cena za udane żądanie, nie cena za gigabajt. Dostawca rezydencjalny oferujący cztery dolary za gigabajt, ale zawodzący na połowie celów chronionych przez Cloudflare, jest w praktyce droższy niż dostawca za sześć dolarów, który udaje się dziewięć na dziesięć razy.

Surowa liczba IP to nagłówek na stronie głównej każdego dostawcy i jest prawie pozbawiona znaczenia. Trzydzieści milionów punktów końcowych w mętnej sieci źródłowej to gorszy produkt niż dwa miliony punktów końcowych z udokumentowaną zgodą. Wagi przypisujemy odpowiednio, a nasze istniejące wpisy dla [abcproxy](/service/abcproxy) i [bitcoinproxy](/service/bitcoinproxy) są oceniane na tej podstawie. Spodziewaj się, że reszta kategorii proxy zostanie przeklasyfikowana według tych samych kryteriów do końca roku.

Źródła

• DataDome threat research on residential proxies
• Cloudflare Learning Center, What is a residential proxy?
• Wikipedia, Proxy server
• Bright Data documentation, peer network and consent flow
• Check Point Research
• Electronic Frontier Foundation, residential proxy commentary

Dziennik zmian

• 2024-09-12 : Wstępny szkic złożony z notatek zebranych podczas tygodnia testowania dwunastu dostawców proxy pod kątem listy celów chronionych przez Cloudflare. Wskaźnik przepustowości datacenter zmierzony na poniżej dziewięciu procent w chronionym podzbiorze, rezydencjalne na siedemdziesiąt jeden procent, mobilne na dziewięćdziesiąt cztery procent. Liczby wykorzystane do zakotwiczenia sekcji przypadków użycia.
• 2024-09-29 : Przepisana sekcja źródłowa po długiej rozmowie telefonicznej z byłym inżynierem Luminati, który przeprowadził przez przepływ zgody Hola, taki jak istniał przed ugodą. Zacieśniono język prawny wokół pozwu zbiorowego z 2024 roku.
• 2024-10-08 : Dodany akapit o TLS JA4 po tym, jak zaktualizowane badanie fingerprintingu Johna Althouse'a zaczęło krążyć. Wycięty wcześniejszy akapit o JA3, który stał się nieaktualny w ciągu dwóch miesięcy od napisania.
• 2024-10-21 : Redaktor zwrócił uwagę, że oryginalne zakończenie brzmiało zbyt łagodnie wobec dostawców, których nie możemy zweryfikować. Przepisano werdykt Katalogu, aby wymóg transparentności źródłowej był wyraźny i aby zobowiązać się do przeklasyfikowania istniejących wpisów.
• 2024-10-30 : Ostateczna passa pod kątem rytmu i długości. Przycięto trzy pytania retoryczne we wstępie, które wykonywały tę samą pracę, i połączono akapity o proxy ISP i mobilnym w sekcji przypadków użycia, aby lista punktowana nie była zbyt długa.