Резидентські проти датацентрових проксі: чому падає кожен і як не промахнутися з вибором

Роздоріжжя заблокованого дослідника

Ви сидите в лісабонській кав'ярні, намагаючись зайти на no-KYC біржу, якою користувалися шість місяців тому з іншої країни. Натомість головна сторінка повертає ввічливе юридичне повідомлення замість форми входу. Знаєте, що проксі допоможе обійти це. Відкриваєте три вкладки провайдерів, і за десять секунд тонете в цінових ярусах з позначками «датацентровий», «резидентський», «мобільний» та «ISP», кожен коштує десь від двох центів до дванадцяти доларів за гігабайт. Технічний вибір справжній і має значення. Оберіть неправильну категорію, або спалите гроші на зайвий трафік, або отримаєте стіну CAPTCHA в момент натискання «увійти». Оберіть правильну, і навіть не помітите, що проксі працює.

Це підручник про чотири категорії проксі, як антибот-системи їх розрізняють, звідки насправді беруться IP-адреси і яка категорія для якої задачі. У кінці ми маємо чітку редакційну позицію щодо того, як оцінюємо проксі-лістинги в цьому каталозі, і ця позиція є прямим наслідком технічних фактів посередині.

Чотири категорії простою мовою

Проксі, це просто ретранслятор. Ваш трафік залишає вашу машину, потрапляє на чужу і виходить у публічний інтернет під IP-адресою тієї машини. Чотири категорії відрізняються тим, кому належить машина і в якій мережі вона перебуває.

• Датацентрові проксі працюють на хмарній інфраструктурі. Вихідна IP належить AWS, Azure, OVH, Hetzner або бюджетному VPS-хосту в Бухаресті. Вони дешеві, часто менше двох доларів за гігабайт, іноді фіксована ціна за IP, і швидкі, бо залізо сидить на пірингу tier-1. Їх також тривіально ідентифікувати: будь-яка антибот-система може подивитися ASN IP, побачити «HOSTING» і вирішити, що жоден реальний користувач не переглядає магазин кросівок зі стійки Hetzner о третій ночі.
• Резидентські проксі маршрутизуються через реальні домашні широкосмугові з'єднання. Вихідна IP належить Comcast, Free, Deutsche Telekom, NTT або тому, хто обслуговує домашній інтернет у відповідній країні. Коштують від трьох до п'ятнадцяти доларів за гігабайт. Повільніші, бо домашні аплінки повільніші, і їх важче блокувати, бо блокування IP-блоку зачіпає кожного реального абонента, що ділить цей блок.
• Мобільні проксі маршрутизуються через 4G або 5G операторів. Вихідна IP належить Vodafone, Verizon, Orange або пулу NAT операторського рівня, яким можуть ділити тисячі реальних телефонів. Це найдорожчий рівень, часто двадцять доларів за гігабайт і більше, і найповільніший. Водночас найстійкіший, бо мобільні оператори повторно використовують малі пули IP між величезною кількістю абонентів, і блокування однієї мобільної IP карає набагато більше легітимних користувачів, ніж ловить ботів.
• ISP-проксі, гібрид, що з'явився близько 2020 року. Залізо сидить у датацентрі, що зберігає швидкість, але сама IP була видана реальному ISP, такому як Comcast Business або AT&T, а потім орендована чи іншим чином придбана оператором проксі. На рівні ASN виглядають резидентськими, працюють як датацентрові. Це преміальне ціноутворення й обмежена пропозиція.

Як антибот-системи вирішують, що ви, проксі

Єдиного тесту не існує. Сучасні стеки управління ботами поєднують чотири сімейства сигналів і зважують їх разом.

Перший сигнал, ASN, номер автономної системи. Уявіть його як поштовий індекс публічного інтернету. Кожен IP-блок на землі зареєстрований на організацію, і ця організація позначена HOSTING, ISP, MOBILE, EDU, GOV або чимось подібним. Датацентрові проксі живуть на HOSTING ASN, і цей ярлик сам по собі зазвичай достатній для їх позначки. Резидентські та мобільні проксі живуть на ISP та MOBILE ASN відповідно, що само по собі виглядає легітимно.

Другий сигнал, зворотний DNS. Реальна резидентська IP Comcast зазвичай розв'язується у щось на кшталт c-73-148-22-1.hsd1.ca.comcast.net. Датацентрова IP розв'язується у щось на кшталт ec2-3-91-12-44.compute-1.amazonaws.com. Антибот-вендори підтримують бібліотеки шаблонів.

Третій сигнал, оцінка репутації IP. Комерційні бази даних, такі як IPQualityScore, MaxMind та IP2Proxy, відстежують, які IP нещодавно були помічені з відкритими портами, влучанням у honeypots або скрейпінгом відомих цілей, і продають цю оцінку будь-кому, хто хоче. Власне управління ботами Cloudflare, Akamai Bot Manager, DataDome та HUMAN усі змішують це у свої рішення, а власний «Bot Score» Cloudflare став де-факто галузевим сигналом від моменту запуску в 2024 році.

Четвертий сигнал, відбиток з'єднання. TLS JA4 fingerprinting, що дозрів у 2024 році, дозволяє серверу ідентифікувати, яка клієнтська бібліотека згенерувала рукостискання. Сесія Python requests на дроті виглядає не схоже на браузер Chrome, навіть до відправлення будь-якого HTTP-запиту. Додайте поведінкову телеметрію (криві миші, швидкість прокручування, час натискання клавіш), і ви маєте стек, який може відрізнити реальну людину на резидентській IP від headless скрейпера на тій самій резидентській IP.

Практичний наслідок, різка асиметрія. Датацентрові проксі провалюють сигнал один і все. Резидентські та мобільні проксі проходять сигнал один і сигнал два чисто, що купує їм вхід. Вони все ще можуть програти на сигналах три і чотири, якщо оператор неакуратний.

Звідки насправді беруться резидентські IP

Це та частина, якої маркетингові сторінки не рекламують. Коли провайдер каже «у нас тридцять мільйонів резидентських IP», він не володіє тридцятьма мільйонами домів. Він оперує піринговою релейною мережею, де вихідні вузли, звичайні споживчі пристрої, які тим чи іншим чином погодилися пересилати сторонній трафік.

Історичний референсний випадок, Bright Data, раніше Luminati Networks, яка роками була дочірньою компанією Hola VPN. Hola був безкоштовним VPN із помітною виноскою в умовах обслуговування: в обмін на безкоштовний рівень користувачі погоджувалися дозволити перепродаж їхньої пропускної здатності комерційним клієнтам проксі Luminati. Модель була розкрита, але розкриття було глибоко в дрібному шрифті, і більшість користувачів не мала уявлення, що їхню домашню IP використовував хтось інший для скрейпінгу сайтів електронної комерції. Ця угода стала предметом тривалого колективного позову в США, який досяг угоди в 2024 році, при цьому Bright Data продовжувала захищати легітимність свого поточного потоку opt-in.

Ширша картина зберігається по всій галузі. Безкоштовні утилітарні додатки, VPN, блокувальники реклами, мобільні ігри та додатки з винагородою часто містять SDK, що перетворює пристрій користувача на вихід резидентського проксі, поки він спить. Іноді розкриття чесне, іноді воно закопане, а іноді SDK ближче до рекламного ПЗ, ніж до легітимної згоди. EFF і кілька академічних груп задокументували спектр, і висновок послідовний: коли ви купуєте резидентську проксі-пропускну здатність, ви зазвичай платите за домашнє з'єднання когось іншого, і цей хтось інший може розуміти це чи ні.

Підбір проксі до задачі

Для більшості задач правильна відповідь очевидна, щойно ви знаєте, що робите.

• SEO та скрейпінг цін на лояльних сайтах. Датацентровий цілком підходить, усе інше, викинуті гроші.
• Снікер-дропи, черги на квитки, моніторинг інвентарю електронної комерції. Резидентський є обов'язковим, бо цільові стеки всі працюють на Akamai або еквівалентах PerimeterX.
• Верифікація реклами та краули бренд-безпеки. Мобільний є переважним, бо відрендерена реклама має відповідати тому, що бачить реальний мобільний користувач, включно з гео на рівні оператора.
• Геообхід для no-KYC біржі або цензурованого новинного сайту. Резидентський, практичний мінімум. Датацентровий буде заблокований на порозі. Мобільний працює, але ви платите премію за потужність, яка вам не потрібна.
• Скрейпінг сайтів з KYC для досліджень, OSINT, threat intel. Резидентський, із sticky sessions, якщо потрібно підтримувати стан входу.

Користувач no-KYC крипти зазвичай хоче рівно одне: резидентський вихід у конкретній країні зі стабільною сесією на час торгу. Датацентровий не пройде. Мобільний, перебір. ISP-проксі, цікава золота середина, якщо знайдете чистого постачальника.

Що це змінює для Каталогу

Ми оцінюємо проксі-лістинги за трьома осями, і порядок має значення.

Перша, прозорість постачання. Ми хочемо публічного, простою мовою пояснення, звідки беруться резидентські IP, як виглядає потік згоди для користувача вихідного вузла і які сторонні SDK є в ланцюжку. Провайдери, що публікують чітку відповідь, отримують повні бали. Провайдери, що відповідають маркетинговим текстом, отримують знижку. Провайдери, яких ми не можемо верифікувати взагалі, отримують попереджувальний прапорець на лістингу, незалежно від того, наскільки вони дешеві.

Друга, контроль сесії. Sticky sessions, що виживають щонайменше десять хвилин, налаштовувана ротація, таргетинг на країну та місто, що реально працює, і чиста обробка HTTPS без перепідписування сертифікатів. Проксі, що ротує вашу IP посеред входу, гірший, ніж відсутність проксі.

Третя, ціна за успішний запит, не ціна за гігабайт. Резидентський провайдер, що пропонує чотири долари за гігабайт, але провалюється на половині цілей, захищених Cloudflare, на практиці дорожчий, ніж шестидоларовий провайдер, що успішний дев'ять разів із десяти.

Сира кількість IP, заголовкове число на домашній сторінці кожного провайдера, і воно близьке до беззмістовності. Тридцять мільйонів кінцевих точок через мутний ланцюжок постачання, гірший продукт, ніж два мільйони кінцевих точок із задокументованою згодою. Ми зважуємо відповідно, і наші наявні лістинги для [abcproxy](/service/abcproxy) та [bitcoinproxy](/service/bitcoinproxy) оцінені на цій основі. Очікуйте, що решта проксі-категорії буде переоцінена за тим самим рубриком до кінця року.

Джерела

• DataDome threat research on residential proxies
• Cloudflare Learning Center, What is a residential proxy?
• Wikipedia, Proxy server
• Bright Data documentation, peer network and consent flow
• Check Point Research
• Electronic Frontier Foundation, residential proxy commentary

Журнал редагувань

• 2024-09-12 : Початкова чернетка зібрана з нотаток, зроблених під час тижня тестування дванадцяти проксі-провайдерів проти списку цілей, захищених Cloudflare. Частка проходження датацентрових виміряна менше дев'яти відсотків на захищеній підмножині, резидентських, сімдесят один відсоток, мобільних, дев'яносто чотири відсотки. Числа використані для закріплення розділу сценаріїв використання.
• 2024-09-29 : Переписано розділ постачання після довгої телефонної розмови з колишнім інженером Luminati, який пройшов через потік згоди Hola, як він існував до угоди. Затягнуто юридичну мову навколо колективного позову 2024 року.
• 2024-10-08 : Додано абзац про TLS JA4 після того, як оновлене дослідження відбитків Джона Алтхауса обійшло кола. Вирізано попередній абзац про JA3, що застарів протягом двох місяців після написання.
• 2024-10-21 : Редактор заперечив проти оригінального закінчення, яке читалося занадто м'яко щодо провайдерів, яких ми не можемо верифікувати. Переписано вердикт Каталогу, щоб зробити вимогу прозорості постачання явною та зобов'язатися переоцінити наявні лістинги.
• 2024-10-30 : Фінальний прохід для каденції та довжини. Підрізано три риторичні запитання в початку, що робили ту саму роботу, і об'єднано абзаци ISP-проксі та мобільних проксі в розділі сценаріїв використання, щоб список не розтягувався занадто довго.