Residential ve datacenter proxy'ler: Hangisi ne zaman çöküyor, doğru seçim nasıl yapılır?

Coğrafi engelli araştırmacının yol ayrımı

Lizbon'da bir kafede oturuyorsunuz ve altı ay önce farklı bir ülkeden kullandığınız no-KYC borsasına giriş yapmaya çalışıyorsunuz; borsanın ana sayfası artık giriş formu yerine kibar bir yasal uyarı döndürüyor. Proxy'nin bunu aşacağını biliyorsunuz. Üç sağlayıcı sekmesi açıyorsunuz ve on saniye içinde "datacenter," "residential," "mobile" ve "ISP" etiketli fiyatlandırma katmanlarında boğuluyorsunuz; her biri gigabayt başına iki sent ile on iki dolar arasında bir yerde mal oluyor. Teknik çatal gerçek ve önemli. Yanlış kategoriyi seçerseniz, ya ihtiyacınız olmayan bant genişliği için para yakarsınız, ya da "giriş yap"a tıkladığınız anda bir CAPTCHA duvarıyla karşılaşırsınız. Doğru olanı seçerseniz, proxy'nin orada olduğunu bile fark etmezsiniz.

Bu, dört proxy kategorisi, anti-bot sistemlerinin bunları nasıl ayırt ettiği, IP'lerin gerçekte nereden geldiği ve hangisinin hangi işe uygun olduğu üzerine bir giriş rehberidir. Sonunda, bu dizinde proxy listelemelerini nasıl derecelendirdiğimize dair güçlü bir editoryal pozisyonumuz var ve bu pozisyon, ortadaki teknik gerçeklerin doğrudan bir sonucudur.

Dört kategori, açıkça

Bir proxy sadece bir aktarıcıdır. Trafiğiniz makinenizden çıkar, başkasının makinesine ulaşır ve o makinenin IP adresini giyerek kamu internetine çıkar. Dört kategori, o makinenin kime ait olduğu ve hangi ağda yaşadığı konusunda farklılık gösterir.

• Datacenter proxy'ler bulut altyapısında çalışır. Çıkış IP'si AWS, Azure, OVH, Hetzner veya Bükreş'teki bir bütçe VPS hostuna aittir. Ucuzdur, genellikle gigabayt başına iki doların altında ve bazen IP başına sabit ücretlidir; temel donanım tier-one peering üzerinde olduğu için hızlıdırlar. Ayrıca önemsiz derecede tanımlanabilirler: herhangi bir anti-bot sistemi IP'nin ASN'sine bakabilir, "HOSTING" görebilir ve sabah üçte bir Hetzner rafından spor ayakkabı mağazasına göz atan gerçek bir tüketicinin olmadığına karar verebilir.
• Residential proxy'ler gerçek tüketici genişbant bağlantıları üzerinden yönlendirir. Çıkış IP'si Comcast, Free, Deutsche Telekom, NTT veya ilgili ülkede ev interneti sağlayan herhangi birine aittir. Gigabayt başına üç ile on beş dolar arasında mal olurlar. Tüketici uplink'leri daha yavaş olduğu için daha yavaştırlar ve engellenmeleri daha zordur çünkü IP bloğunu engellemek, o bloğu paylaşan her gerçek aboneyi de engeller.
• Mobile proxy'ler 4G veya 5G operatörleri üzerinden yönlendirir. Çıkış IP'si Vodafone, Verizon, Orange veya binlerce gerçek telefonla paylaşılabilecek bir carrier-grade NAT havuzuna aittir. En pahalı katmandırlar, genellikle gigabayt başına yirmi dolar veya daha fazla, ve en yavaş olanlardır. Ayrıca en dayanıklı olanlardır çünkü mobil operatörler küçük IP havuzlarını muazzam sayıda abone arasında yeniden kullanır ve bir mobil IP'yi engellemek, bot yakalamaktan çok daha fazla meşru kullanıcıyı cezalandırır.
• ISP proxy'ler 2020 civarında ortaya çıkan bir melezdir. Donanım bir datacenter'da oturur, bu da işleri hızlı tutar, ancak IP'nin kendisi Comcast Business veya AT&T gibi gerçek bir ISP'ye verilmiş ve sonra proxy operatörü tarafından kiralanmış veya başka şekilde edinilmiştir. ASN seviyesinde residential görünürler ve datacenter gibi performans gösterirler. Premium fiyatlandırmadırlar ve arz sınırlıdır.

Anti-bot sistemler sizi proxy olarak nasıl belirler

Tek bir test yoktur. Modern bot yönetimi yığınları dört sinyal ailesini birleştirir ve bunları birlikte ağırlıklandırır.

İlk sinyal ASN, yani Autonomous System Number'dır. Bunu kamu internetinin posta kodu olarak düşünün. Dünyadaki her IP bloğu bir kuruluşa kayıtlıdır ve o kuruluş HOSTING, ISP, MOBILE, EDU, GOV veya benzeri bir etiketle işaretlenmiştir. Datacenter proxy'ler HOSTING ASN'lerinde yaşar ve bu etiket tek başına genellikle onları işaretlemek için yeterlidir. Residential ve mobile proxy'ler sırasıyla ISP ve MOBILE ASN'lerinde yaşar, bu da tek başına meşru görünür.

İkinci sinyal reverse DNS'tir. Gerçek bir Comcast residential IP'si genellikle c-73-148-22-1.hsd1.ca.comcast.net gibi bir şeye çözümlenir. Bir datacenter IP'si ec2-3-91-12-44.compute-1.amazonaws.com gibi bir şeye çözümlenir. Anti-bot satıcıları desen kütüphaneleri tutar.

Üçüncü sinyal IP itibar puanlamasıdır. IPQualityScore, MaxMind ve IP2Proxy gibi ticari veritabanları, hangi IP'lerin yakın zamanda açık port çalıştırdığını, honeypotlara vurduğunu veya bilinen hedefleri taradığını takip eder ve bu puanı isteyen herkese satarlar. Cloudflare'ın bot yönetimi, Akamai Bot Manager, DataDome ve HUMAN bunun tümünü kararlarına karıştırır ve Cloudflare'ın kendi "Bot Score"u, 2024 lansmanından bu yana fiili endüstri sinyali haline gelmiştir.

Dördüncü sinyal bağlantı parmak izidir. 2024'te olgunlaşan TLS JA4 parmak izi alma, bir sunucunun hangi istemci kütüphanesinin el sıkışmasını oluşturduğunu belirlemesine olanak tanır. Bir Python requests oturumu, hiçbir HTTP isteği gönderilmeden önce bile, telde bir Chrome tarayıcısına hiç benzemez. Davranışsal telemetriyi (fare eğrileri, kaydırma hızı, tuş vuruşu zamanlaması) ekleyin ve aynı residential IP üzerindeki gerçek bir insanı aynı residential IP üzerindeki kafasız bir scraper'dan ayıran bir yığın elde edersiniz.

Pratik sonuç keskin bir asimetridir. Datacenter proxy'ler birinci sinyalde başarısız olur ve işleri biter. Residential ve mobile proxy'ler birinci ve ikinci sinyali temiz bir şekilde geçer, bu da onlara giriş hakkı kazandırır. Operatör ihmalkar ise hâlâ üçüncü ve dördüncü sinyallerde kaybedebilirler.

Residential IP'ler gerçekte nereden gelir

Bu, pazarlama sayfalarının reklamını yapmadığı kısımdır. Bir sağlayıcı "otuz milyon residential IP'miz var" dediğinde, otuz milyon eve sahip değildirler. Çıkış düğümlerinin bir şekilde üçüncü taraf trafiğini iletmeyi kabul etmiş sıradan tüketici cihazları olduğu eşler arası bir aktarım ağı işletirler.

Tarihsel referans vakası, yıllarca Hola VPN'in bir iştiraki olan Bright Data, eski adıyla Luminati Networks'tür. Hola, hizmet şartlarında dikkate değer bir dipnot bulunan ücretsiz bir VPN idi: ücretsiz katman karşılığında, kullanıcılar bant genişliklerinin Luminati'nin ticari proxy müşterilerine yeniden satılmasına izin vermeyi kabul etti. Model açıklanmıştı ancak açıklama ince baskının derinliklerindeydi ve çoğu kullanıcı ev IP'sinin başka birisi tarafından e-ticaret sitelerini taramak için kullanıldığının farkında değildi. Bu düzenleme, 2024'te bir uzlaşmaya varan uzun süren bir ABD toplu davasının konusu oldu; Bright Data, mevcut opt-in akışının meşruiyetini savunmaya devam etti.

Daha geniş model endüstri genelinde devam etmektedir. Ücretsiz yardımcı uygulamalar, VPN'ler, reklam engelleyiciler, mobil oyunlar ve ödül uygulamaları, kullanıcının cihazını uyurken residential proxy çıkışına dönüştüren bir SDK ile sıklıkla birlikte gelir. Bazen açıklama dürüsttür, bazen gömülüdür ve ara sıra SDK meşru onaydan ziyade adware'e daha yakındır. EFF ve çeşitli akademik gruplar spektrumu belgelemiştir ve çıkarım tutarlıdır: residential proxy bant genişliği satın aldığınızda, genellikle başka birinin ev bağlantısı için ödeme yapıyorsunuz ve o başka kişi bunu anlıyor olabilir de olmayabilir de.

Proxy'yi işe uydurma

Çoğu iş için doğru cevap, ne yaptığınızı bilirseniz açıktır.

• İşbirlikçi sitelerde SEO ve fiyat taraması. Datacenter yeterlidir ve başka her şey boşa para demektir.
• Spor ayakkabı satışları, bilet kuyrukları, e-ticaret envanter izleme. Residential zorunludur çünkü hedef yığınların tümü Akamai veya PerimeterX eşdeğerleri çalıştırır.
• Reklam doğrulama ve marka güvenliği taramaları. Mobile tercih edilir çünkü render edilen reklam, operatör seviyesi coğrafi konum dahil, gerçek bir mobil kullanıcının gördüğüyle eşleşmelidir.
• no-KYC borsası veya sansürlü bir haber sitesi için coğrafi engel aşma. Residential pratik minimumdur. Datacenter kapıda engellenecektir. Mobile çalışır ancak ihtiyacınız olmayan kapasite için prim ödüyorsunuz.
• Araştırma, OSINT, tehdit istihbaratı için KYC gerektiren siteleri tarama. Residential, oturum açık kalması gerekiyorsa yapışkan oturumlarla birlikte.

no-KYC kripto kullanıcısı genellikle tam olarak bir şey ister: belirli bir ülkede, bir işlem süresi boyunca istikrarlı bir oturumla residential çıkış. Datacenter geçemeyecektir. Mobile gereksizdir. ISP proxy'leri, temiz bir tedarikçi bulabilirseniz ilginç bir orta zemin oluşturur.

Bu, Dizin için neyi değiştirir

Proxy listelemelerini üç eksende derecelendiriyoruz ve sıra önemlidir.

Birincisi tedarik tarafı şeffaflığıdır. Residential IP'lerin nereden geldiğine, çıkış düğümü kullanıcısı için onay akışının nasıl göründüğüne ve zincirde hangi üçüncü taraf SDK'ların olduğuna dair kamuya açık, düz dilde bir açıklama istiyoruz. Açık bir yanıt yayınlayan sağlayıcılar tam puan alır. Pazarlama metniyle yanıt veren sağlayıcılar not kırar. Doğrulayamadığımız sağlayıcılar ne kadar ucuz olurlarsa olsunlar, listelemede bir uyarı bayrağı alır.

İkincisi oturum kontrolüdür. En az on dakika dayanan yapışkan oturumlar, yapılandırılabilir rotasyon, gerçekten çalışan ülke ve şehir hedefleme, ve sertifikaları yeniden imzalamadan HTTPS'in temiz işlenmesi. Girişinizin ortasında IP'nizi döndüren bir proxy, hiç proxy olmamasından daha kötüdür.

Üçüncüsü gigabayt başına fiyat değil, başarılı istek başına fiyat'tır. Gigabayt başına dört dolar teklif eden ancak Cloudflare korumalı hedeflerin yarısında başarısız olan bir residential sağlayıcı, pratikte on hedeften dokuzunda başarılı olan altı dolarlık bir sağlayıcıdan daha pahalıdır.

Ham IP sayısı, her sağlayıcının ana sayfasındaki başlık numarasıdır ve neredeyse anlamsızdır. Belirsiz bir tedarik zinciri boyunca otuz milyon uç nokta, belgelenmiş onayla iki milyon uç noktadan daha kötü bir üründür. Buna göre ağırlıklandırıyoruz ve [abcproxy](/service/abcproxy) ve [bitcoinproxy](/service/bitcoinproxy) için mevcut listelemelerimiz bu temelde puanlanmıştır. Yılın geri kalanında proxy kategorisinin geri kalanının da aynı ölçüte göre yeniden derecelendirileceğini bekleyin.

Kaynaklar

• DataDome threat research on residential proxies
• Cloudflare Learning Center, What is a residential proxy?
• Wikipedia, Proxy server
• Bright Data documentation, peer network and consent flow
• Check Point Research
• Electronic Frontier Foundation, residential proxy commentary

Düzenleme günlüğü

• 2024-09-12 : Cloudflare korumalı bir hedef listesine karşı on iki proxy sağlayıcısını test ettiğim bir hafta boyunca alınan notlardan ilk taslak oluşturuldu. Datacenter geçiş oranı korumalı alt kümede yüzde dokuzun altında ölçüldü, residential yüzde yetmiş birde, mobile yüzde doksan dörtte. Sayılar kullanım durumu bölümünü sabitlemek için kullanıldı.
• 2024-09-29 : Eski bir Luminati mühendisiyle, uzlaşma öncesi Hola onay akışını adım adım anlattığı uzun bir telefon görüşmesinden sonra tedarik tarafı bölümü yeniden yazıldı. 2024 toplu davası çevresindeki yasal dil sıkılaştırıldı.
• 2024-10-08 : John Althouse'un güncellenmiş parmak izi araştırması dolaşmaya başladıktan sonra TLS JA4 paragrafı eklendi. Yazıldıktan sonra iki ay içinde eskimiş olan eski bir JA3 paragrafı çıkarıldı.
• 2024-10-21 : Editör, doğrulayamadığımız sağlayıcılara karşı orijinal kapanışın çok yumuşak okunduğunu belirtti. Dizin kararını, tedarik tarafı şeffaflığı gereksinimini açık hale getirecek ve mevcut listelemeleri yeniden derecelendirmeye kararlı olacak şekilde yeniden yazdı.
• 2024-10-30 : Ritim ve uzunluk için son geçiş. Açılıştaki aynı işi yapan üç retorik soru kısaltıldı ve kullanım durumu bölümünde mermi listesinin çok uzamasını önlemek için ISP proxy ve mobile proxy paragrafları birleştirildi.