Proxies residenciais vs. datacenter: quando falham e como escolher

A encruzilhada do pesquisador bloqueado geograficamente

Você está num café em Lisboa, a tentar aceder a uma exchange no-KYC que usou há seis meses noutro país, e a página inicial agora devolve um aviso legal educado em vez de um formulário de login. Sabe que um proxy resolve o problema. Abre três separadores com fornecedores, e em dez segundos está a afogar-se em patamares de preço rotulados "datacenter", "residencial", "móvel" e "ISP", cada um a custar entre dois cêntimos e doze dólares por gigabyte. A bifurcação técnica é real e importa. Escolha a categoria errada e queima dinheiro em largura de banda desnecessária, ou depara com uma parede de CAPTCHA no momento em que clica em "log in". Escolha a certa e nem dá por ela.

Este guia aborda as quatro categorias de proxy, como os sistemas anti-bot as distinguem, de onde os IPs provêm realmente, e qual se adequa a qual tarefa. Temos uma posição editorial firme no final sobre como avaliamos as listagens de proxy neste diretório, posição essa que decorre diretamente dos factos técnicos do meio.

As quatro categorias, em síntese

Um proxy é apenas um retransmissor. O tráfego sai da sua máquina, chega à de outra pessoa, e segue para a internet pública através do endereço IP dessa máquina. As quatro categorias diferem no proprietário da máquina e na rede em que reside.

• Proxies datacenter funcionam em infraestrutura de cloud. O IP de saída pertence à AWS, Azure, OVH, Hetzner, ou a um host de VPS económico em Bucareste. São baratos, frequentemente abaixo de dois dólares por gigabyte e por vezes com tarifa fixa por IP, e rápidos porque o hardware subjacente está em peering tier-one. Também são trivialmente identificáveis: qualquer sistema anti-bot consulta o ASN do IP, vê "HOSTING", e conclui que nenhum consumidor real navega numa loja de sapatilhas a partir de um rack da Hetzner às três da manhã.
• Proxies residenciais encaminham através de ligações reais de banda larga doméstica. O IP de saída pertence à Comcast, Free, Deutsche Telekom, NTT, ou a quem forneça internet residencial no país em questão. Custam entre três e quinze dólares por gigabyte. São mais lentos porque os uplinks residenciais são mais lentos, e mais difíceis de bloquear porque bloquear o bloco de IP também bloqueia todos os assinantes reais que partilham esse bloco.
• Proxies móveis encaminham através de operadoras 4G ou 5G. O IP de saída pertence à Vodafone, Verizon, Orange, ou a um pool de NAT de operadora partilhado com milhares de telemóveis reais. São o patamar mais caro, frequentemente vinte dólares por gigabyte ou mais, e os mais lentos. Também são os mais resilientes, porque as operadoras móveis reutilizam pools pequenos de IPs entre um número enorme de assinantes, e bloquear um IP móvel puniria muito mais utilizadores legítimos do que apanharia bots.
• Proxies ISP são um híbrido que surgiu por volta de 2020. O hardware fica num datacenter, o que mantém tudo rápido, mas o IP foi emitido para um ISP real como Comcast Business ou AT&T e depois arrendado ou adquirido de outra forma pelo operador de proxy. Parecem residenciais ao nível do ASN e performam como datacenter. Têm preço premium e a oferta é limitada.

Como os sistemas anti-bot decidem que você é um proxy

Não existe um teste único. As stacks modernas de gestão de bots combinam quatro famílias de sinais e ponderam-nas em conjunto.

O primeiro sinal é o ASN, o Número de Sistema Autónomo. Pense nele como o código postal da internet pública. Cada bloco de IP no mundo está registado para uma organização, e essa organização é etiquetada HOSTING, ISP, MOBILE, EDU, GOV, ou algo similar. Os proxies datacenter vivem em ASNs HOSTING, e esse rótulo por si só é geralmente suficiente para os sinalizar. Os proxies residenciais e móveis vivem em ASNs ISP e MOBILE, respetivamente, o que por si só parece legítimo.

O segundo sinal é o DNS reverso. Um IP residencial real da Comcast resolve normalmente para algo como c-73-148-22-1.hsd1.ca.comcast.net. Um IP de datacenter resolve para algo como ec2-3-91-12-44.compute-1.amazonaws.com. Os fornecedores anti-bot mantêm bibliotecas de padrões.

O terceiro sinal é a pontuação de reputação do IP. Bases de dados comerciais como IPQualityScore, MaxMind e IP2Proxy rastreiam quais IPs foram vistos recentemente a executar portas abertas, a atingir honeypots, ou a fazer scraping de alvos conhecidos, e vendem essa pontuação a quem a quiser comprar. A gestão de bots da Cloudflare, o Akamai Bot Manager, a DataDome e a HUMAN incorporam todos isto nas suas decisões, e o próprio "Bot Score" da Cloudflare tornou-se o sinal de facto da indústria desde o seu lançamento em 2024.

O quarto sinal é a impressão digital da ligação. O fingerprinting TLS JA4, que amadureceu em 2024, permite que um servidor identifique qual biblioteca cliente gerou o handshake. Uma sessão Python requests não se parece em nada com um navegador Chrome no fio, mesmo antes de qualquer pedido HTTP ser enviado. Acrescente telemetria comportamental (curvas de rato, velocidade de scroll, timing de digitação) e tem uma stack que consegue distinguir um humano real num IP residencial de um scraper headless no mesmo IP residencial.

A consequência prática é uma assimetria acentuada. Os proxies datacenter falham no sinal um e estão eliminados. Os proxies residenciais e móveis passam limpamente pelos sinais um e dois, o que lhes compra entrada. Ainda assim podem perder nos sinais três e quatro se o operador for descuidado.

De onde os IPs residenciais provêm realmente

Esta é a parte que as páginas de marketing omitem. Quando um fornecedor diz "temos trinta milhões de IPs residenciais", não possui trinta milhões de casas. Opera uma rede retransmissora peer-to-peer onde os nós de saída são dispositivos domésticos comuns que, de uma forma ou outra, concordaram em encaminhar tráfego de terceiros.

O caso de referência histórico é a Bright Data, anteriormente Luminati Networks, que foi durante anos uma subsidiária da Hola VPN. A Hola era uma VPN gratuita com uma nota de rodapé notável nos seus termos de serviço: em troca do patamar gratuito, os utilizadores concordavam em deixar a sua largura de banda ser revendida a clientes comerciais de proxy da Luminati. O modelo era divulgado, mas a divulgação estava no fim da letra miúda, e a maioria dos utilizadores não fazia ideia de que o seu IP residencial estava a ser usado por outra pessoa para fazer scraping de sites de e-commerce. O acordo foi objeto de uma ação coletiva de longa duração nos EUA que chegou a acordo em 2024, com a Bright Data a continuar a defender a legitimidade do seu fluxo atual de opt-in.

O padrão mais amplo persiste na indústria. Aplicações utilitárias gratuitas, VPNs, bloqueadores de anúncios, jogos móveis e apps de recompensa incluem frequentemente um SDK que transforma o dispositivo do utilizador num nó de saída de proxy residencial enquanto ele dorme. Por vezes a divulgação é honesta, por vezes está enterrada, e ocasionalmente o SDK está mais próximo de adware do que de consentimento legítimo. A EFF e vários grupos académicos documentaram o espectro, e a lição é consistente: quando compra largura de banda de proxy residencial, está normalmente a pagar pela ligação doméstica de outra pessoa, e essa outra pessoa pode ou não compreender isso.

A escolher o proxy certo para a tarefa

Para a maioria das tarefas, a resposta certa é óbvia assim que se sabe o que se está a fazer.

• SEO e scraping de preços em sites cooperativos. Datacenter é suficiente; qualquer outra coisa é dinheiro desperdiçado.
• Drops de sapatilhas, filas de bilhetes, monitoramento de inventário de e-commerce. Residencial é obrigatório, porque as stacks alvo todas correm Akamai ou equivalentes da PerimeterX.
• Verificação de anúncios e crawls de brand-safety. Móvel é preferido, porque o anúncio renderizado precisa de corresponder ao que um utilizador móvel real vê, incluindo geo a nível de operadora.
• Bypass geográfico para uma exchange no-KYC ou um site de notícias censurado. Residencial é o mínimo prático. Datacenter será bloqueado na porta da frente. Móvel funciona, mas está a pagar premium por capacidade que não precisa.
• Scraping de sites que exigem KYC para investigação, OSINT, inteligência de ameaças. Residencial, com sessões sticky se precisar de manter um estado logado.

O utilizador de cripto no-KYC quer geralmente uma coisa muito específica: saída residencial num país específico, com sessão estável durante a duração de uma trade. Datacenter não passa. Móvel é exagero. Os proxies ISP são uma alternativa interessante se conseguir encontrar um fornecedor limpo.

O que isto muda para o Diretório

Avaliamos as listagens de proxy em três eixos, e a ordem importa.

O primeiro é a transparência da cadeia de fornecimento. Queremos uma explicação pública, em linguagem simples, de onde os IPs residenciais provêm, como funciona o fluxo de consentimento para o utilizador do nó de saída, e quais SDKs de terceiros estão na cadeia. Os fornecedores que publicam uma resposta clara recebem nota máxima. Os que respondem com copy de marketing são penalizados. Os que não conseguimos verificar recebem um sinal de alerta na listagem, independentemente de quão baratos sejam.

O segundo é o controlo de sessão. Sessões sticky que sobrevivam pelo menos dez minutos, rotação configurável, targeting de país e cidade que funcione de facto, e manipulação limpa de HTTPS sem re-assinar certificados. Um proxy que roda o IP no meio do login é pior que nenhum proxy.

O terceiro é o preço por pedido bem-sucedido, não o preço por gigabyte. Um fornecedor residencial que cobra quatro dólares por gigabyte mas falha na metade dos alvos protegidos por Cloudflare é, na prática, mais caro que um fornecedor de seis dólares que tem sucesso nove em cada dez.

A contagem bruta de IPs é o número em destaque na página inicial de todo o fornecedor, e é quase desprovido de significado. Trinta milhões de endpoints através de uma cadeia de fornecimento obscura é um produto pior que dois milhões de endpoints com consentimento documentado. Ponderamos de acordo, e as nossas listagens existentes para [abcproxy](/service/abcproxy) e [bitcoinproxy](/service/bitcoinproxy) são pontuadas nessa base. Espere que o resto da categoria de proxy seja reavaliado contra a mesma rúbrica ao longo do ano.

Fontes

• Pesquisa de ameaças da DataDome sobre proxies residenciais
• Cloudflare Learning Center, O que é um proxy residencial?
• Wikipedia, Servidor proxy
• Documentação da Bright Data, rede peer e fluxo de consentimento
• Check Point Research
• Electronic Frontier Foundation, comentário sobre proxy residencial

Registo de edições

• 2024-09-12 : Rascunho inicial montado a partir de notas tomadas durante uma semana de testes de doze fornecedores de proxy contra uma lista de alvos protegidos por Cloudflare. Taxa de passagem de datacenter medida em menos de nove por cento no subconjunto protegido, residencial em setenta e um por cento, móvel em noventa e quatro por cento. Números usados para ancorar a secção de casos de uso.
• 2024-09-29 : Reescrita da secção de cadeia de fornecimento após uma longa chamada com um ex-engenheiro da Luminati que explicou o fluxo de consentimento da Hola tal como existia pré-acordo. Aperfeiçoamento da linguagem legal em torno da ação coletiva de 2024.
• 2024-10-08 : Adicionado o parágrafo sobre TLS JA4 após a pesquisa atualizada de fingerprint de John Althouse circular. Removido um parágrafo anterior sobre JA3 que havia tornado-se obsoleto em dois meses de ter sido escrito.
• 2024-10-21 : Editor contestou o fechamento original, que soava brando demais com fornecedores que não conseguimos verificar. Reescrito o veredito do Diretório para tornar explícito o requisito de transparência da cadeia de fornecimento e para comprometer-se com a reavaliação das listagens existentes.
• 2024-10-30 : Passada final para cadência e comprimento. Cortadas três perguntas retóricas na abertura que estavam a fazer o mesmo trabalho, e fundidos os parágrafos de proxy ISP e proxy móvel na secção de casos de uso para evitar que a lista de bullets ficasse demasiado longa.