Прокси: жилые IP против дата-центров, где подвох и как не промахнуться

Развилка для исследователя за геобарьером

Вы сидите в лиссабонском кафе, пытаясь зайти на no-KYC-биржу, которой пользовались полгода назад из другой страны, а вместо формы входа видите вежливое юридическое уведомление. Знаете, что прокси поможет обойти блокировку. Открываете в браузере три вкладки с провайдерами, и за десять секунд тонете в тарифных сетках: «дата-центр», «резидентал», «мобайл», «ISP», от двух центов до двенадцати долларов за гигабайт. Техническая развилка реальна и важна. Выберете не тот класс, либо спалите деньги на ненужный трафик, либо встретите стену CAPTCHA при нажатии на «войти». Выберете правильный, и прокси останется незаметен.

Это вводный материал о четырёх классах прокси, о том, как антибот-системы их различают, откуда на самом деле берутся IP-адреса и какой класс для какой задачи. В конце, наша редакционная позиция по оценке листингов в этом каталоге, и она напрямую вытекает из технических фактов в середине.

Четыре класса, простым языком

Прокси, это ретранслятор. Трафик уходит с вашей машины, попадает на чужую и выходит в публичный интернет под IP этой машины. Четыре класса различаются тем, кому принадлежит машина и в какой сети она находится.

• Дата-центровые прокси работают на облачной инфраструктуре. Выходной IP принадлежит AWS, Azure, OVH, Hetzner или бюджетному VPS-хостингу в Бухаресте. Они дешёвые, часто дешевле двух долларов за гигабайт, иногда с фиксированной ценой за IP, и быстрые, потому что железо сидит на пиринге первого уровня. Но их тривиально идентифицировать: любая антибот-система смотрит ASN IP-адреса, видит «HOSTING» и решает, что ни один реальный потребитель не листает кроссовки с Hetzner-стойки в три часа ночи.
• Резидентальные прокси маршрутизируются через реальные домашние широкополосные подключения. Выходной IP принадлежит Comcast, Free, Deutsche Telekom, NTT или любому другому провайдеру домашнего интернета в нужной стране. Стоят от трёх до пятнадцати долларов за гигабайт. Медленнее, потому что домашние аплинки медленнее, и сложнее заблокировать, поскольку блокировка IP-блока заденет всех реальных абонентов этого блока.
• Мобильные прокси маршрутизируются через сети 4G или 5G. Выходной IP принадлежит Vodafone, Verizon, Orange или пулу carrier-grade NAT, которым могут пользоваться тысячи реальных телефонов. Самый дорогой класс, часто двадцать долларов за гигабайт и выше, и самый медленный. Но и самый устойчивый: мобильные операторы используют небольшие пулы IP для огромного числа абонентов, и блокировка одного мобильного IP накажет гораздо больше легитимных пользователей, чем поймает ботов.
• ISP-прокси, гибрид, появившийся примерно в 2020 году. Железо стоит в дата-центре, что обеспечивает скорость, но сам IP был выдан реальному провайдеру вроде Comcast Business или AT&T, а затем арендован или иным способом приобретён оператором прокси. На уровне ASN выглядят как резидентальные, по производительности, как дата-центровые. Премиальная цена и ограниченное предложение.

Как антибот-системы распознают прокси

Единого теста не существует. Современные стеки управления ботами комбинируют четыре семейства сигналов и взвешивают их совместно.

Первый сигнал, ASN, Autonomous System Number. Представьте его как почтовый индекс публичного интернета. Каждый IP-блок на земле зарегистрирован на организацию, и эта организация помечена как HOSTING, ISP, MOBILE, EDU, GOV или иначе. Дата-центровые прокси сидят на HOSTING-ASN, и этой метки обычно достаточно для флага. Резидентальные и мобильные прокси находятся на ISP- и MOBILE-ASN соответственно, что само по себе выглядит легитимно.

Второй сигнал, обратный DNS. Реальный резидентальный IP Comcast обычно резолвится во что-то вроде c-73-148-22-1.hsd1.ca.comcast.net. Дата-центровый IP, во что-то вроде ec2-3-91-12-44.compute-1.amazonaws.com. Антибот-вендоры поддерживают библиотеки паттернов.

Третий сигнал, репутационный скоринг IP. Коммерческие базы вроде IPQualityScore, MaxMind и IP2Proxy отслеживают, какие IP недавно замечены с открытыми портами, атаковали honeypots или скрейпили известные цели, и продают этот скор любому желающему. Cloudflare Bot Management, Akamai Bot Manager, DataDome и HUMAN все интегрируют это в свои решения, а собственный «Bot Score» Cloudflare стал де-факто отраслевым стандартом после запуска в 2024 году.

Четвёртый сигнал, фингерпринт соединения. TLS JA4 fingerprinting, созревший в 2024 году, позволяет серверу определить, какая клиентская библиотека сгенерировала handshake. Сессия на Python requests на проводе выглядит совсем не как Chrome, и это ещё до отправки HTTP-запроса. Добавьте поведенческую телеметрию (кривые движения мыши, скорость скролла, тайминг нажатий клавиш), и получите стек, способный отличить реального человека на резидентальном IP от headless-скрейпера на том же резидентальном IP.

Практическое следствие, резкая асимметрия. Дата-центровые прокси проваливают первый сигнал и выбывают. Резидентальные и мобильные проходят первый и второй сигналы чисто, что даёт им вход. Они всё ещё могут проиграть на третьем и четвёртом, если оператор небрежен.

Откуда на самом деле берутся резидентальные IP

Это то, чего маркетинговые страницы не афишируют. Когда провайдер говорит «у нас тридцать миллионов резидентальных IP», он не владеет тридцатью миллионами домов. Он управляет пиринговой ретрансляционной сетью, где выходные узлы, обычные потребительские устройства, которые тем или иным образом согласились перенаправлять чужой трафик.

Классический референсный случай, Bright Data, ранее Luminati Networks, которая долгие годы была дочерней компанией Hola VPN. Hola представлял собой бесплатный VPN с примечательной оговоркой в условиях обслуживания: в обмен на бесплатный тариф пользователи соглашались, что их пропускная способность будет перепродана коммерческим клиентам Luminati. Модель была раскрыта, но раскрытие было глубоко в мелком шрифте, и большинство пользователей не подозревали, что их домашний IP используется кем-то другим для скрейпинга e-commerce. Эта схема стала предметом многолетнего коллективного иска в США, который завершился мировым соглашением в 2024 году; Bright Data продолжает отстаивать легитимность своего текущего потока opt-in.

Более широкая паттерна сохраняется во всей отрасли. Бесплатные утилитарные приложения, VPN, блокировщики рекламы, мобильные игры и приложения с вознаграждениями часто включают SDK, превращающее устройство пользователя в выходной узел резидентального прокси, пока тот спит. Иногда раскрытие честное, иногда зарыто в условия, а порой SDK ближе к адвари, чем к легитимному согласию. EFF и несколько академических групп документировали весь спектр, и вывод неизменен: покупая резидентальный прокси-трафик, вы обычно платите за чужое домашнее подключение, и этот кто-то может не понимать этого.

Подбираем прокси под задачу

Для большинства задач правильный ответ очевиден, когда знаешь, что делаешь.

• SEO и скрейпинг цен на лояльных сайтах. Дата-центр вполне подходит, всё остальное, выброшенные деньги.
• Сникер-дропы, очереди на билеты, мониторинг складов e-commerce. Резидентальные обязательны, потому что целевые стеки работают на Akamai или аналогах PerimeterX.
• Верификация рекламы и краулы brand-safety. Мобильные предпочтительнее, потому что отрендеренная реклама должна совпадать с тем, что видит реальный мобильный пользователь, включая гео на уровне оператора.
• Геообход для no-KYC-биржи или заблокированного новостного сайта. Резидентальные, практический минимум. Дата-центр заблокируют на входе. Мобильные работают, но вы платите премию за избыточную мощность.
• Скрейпинг сайтов с KYC для исследований, OSINT, threat intel. Резидентальные, со sticky sessions, если нужно сохранять залогиненное состояние.

Пользователю no-KYC-крипты обычно нужна ровно одна вещь: резидентальный выход в конкретной стране со стабильной сессией на время сделки. Дата-центр не пройдёт. Мобильные, overkill. ISP-прокси, интересная середина, если удастся найти чистого поставщика.

Что это меняет для каталога

Мы оцениваем листинги прокси по трём осям, и порядок важен.

Первая, прозрачность поставки. Нам нужно публичное объяснение простым языком: откуда берутся резидентальные IP, как выглядит поток согласия для пользователя выходного узла, какие сторонние SDK присутствуют в цепочке. Провайдеры с чётким ответом получают полный балл. Провайдеры с маркетинговой копировкой, снижаем. Провайдеры, которых мы не можем верифицировать, получают предупреждающий флаг в листинге, какими бы дешёвыми они ни были.

Вторая, контроль сессий. Sticky sessions, выживающие минимум десять минут, настраиваемая ротация, таргетинг по стране и городу, который реально работает, и чистая обработка HTTPS без переподписания сертификатов. Прокси, который меняет IP посреди логина, хуже, чем никакой.

Третья, цена за успешный запрос, а не цена за гигабайт. Резидентальный провайдер с четырьмя долларами за гигабайт, который проваливается на половине целей под Cloudflare, на практике дороже, чем провайдер за шесть долларов, который проходит в девяти случаях из десяти.

Сырое число IP, заголовок на главной каждого провайдера, и оно почти лишено смысла. Тридцать миллионов эндпоинтов в мутной цепочке поставки, худший продукт, чем два миллиона с документированным согласием. Мы взвешиваем соответственно, и наши существующие листинги для [abcproxy](/service/abcproxy) и [bitcoinproxy](/service/bitcoinproxy) оценены на этой основе. Ожидайте, что остальная категория прокси будет переоценена по той же шкале до конца года.

Источники

• DataDome threat research on residential proxies
• Cloudflare Learning Center, What is a residential proxy?
• Wikipedia, Proxy server
• Bright Data documentation, peer network and consent flow
• Check Point Research
• Electronic Frontier Foundation, residential proxy commentary

Журнал правок

• 2024-09-12 : Первый набросок собран из заметок, сделанных за неделю тестирования двенадцати провайдеров прокси против списка целей под Cloudflare. Проходимость дата-центра на защищённом подмножестве измерена ниже девяти процентов, резидентальных, семьдесят один процент, мобильных, девяносто четыре. Цифры использованы для привязки раздела сценариев.
• 2024-09-29 : Переписан раздел о поставке после длинного телефонного разговора с бывшим инженером Luminati, который разобрал поток согласия Hola, существовавший до мирового соглашения. Уточнена юридическая лексика вокруг коллективного иска 2024 года.
• 2024-10-08 : Добавлен абзац о TLS JA4 после того, как обновлённое исследование fingerprinting Джона Алтхауса обошло профессиональную среду. Вырезан предыдущий абзац о JA3, устаревший в течение двух месяцев после написания.
• 2024-10-21 : Редактор возразил против оригинального заключения, которое звучало слишком мягко по отношению к провайдерам, которых мы не можем верифицировать. Переписан вердикт каталога, чтобы требование прозрачности поставки стало явным, и закреплена приверженность переоценке существующих листингов.
• 2024-10-30 : Финальная правка ритма и объёма. Вырезаны три риторических вопроса во вступлении, выполнявших одну и ту же работу, и объединены абзацы об ISP-прокси и мобильных прокси в разделе сценариев, чтобы буллет-лист не растягивался слишком сильно.