พร็อกซี Residential vs Datacenter: อันไหนรั่ว อันไหนรอด เลือกอย่างไรให้ไม่พลาด

ทางแยกของนักวิจัยที่ถูกบล็อกตามภูมิภาค

คุณนั่งอยู่ในร้านกาแฟที่ลิสบอน พยายามเข้าสู่ระบบ no-KYC exchange ที่เคยใช้เมื่อหกเดือนก่อนจากประเทศอื่น แต่ตอนนี้หน้าแรกของ exchange แสดงประกาศทางกฎหมายสุภาพแทนที่จะเป็นฟอร์มเข้าสู่ระบบ คุณรู้ว่า proxy จะช่วยให้ผ่านไปได้ เปิดสามแท็บของผู้ให้บริการ และภายในสิบวินาทีก็จมอยู่กับระดับราคาที่มีป้ายกำกับ "datacenter" "residential" "mobile" และ "ISP" แต่ละอันคิดค่าบริการระหว่างสองเซ็นต์ถึงสิบสองดอลลาร์ต่อกิกะไบต์ ทางแยกทางเทคนิคนี้มีจริงและสำคัญ เลือกหมวดหมู่ผิดแล้วจะเผาเงินกับแบนด์วิดท์ที่ไม่จำเป็น หรือได้รับกำแพง CAPTCHA ทันทีที่คลิก "log in" เลือกถูกต้องแล้วจะไม่รู้สึกเลยว่ามี proxy อยู่

นี่คือบทนำเกี่ยวกับสี่หมวดหมู่ proxy ว่าระบบป้องกันบอทแยกแยะพวกมันอย่างไร ที่มาของ IP ที่แท้จริง และหมวดหมู่ใดเหมาะกับงานใด เรามีจุดยืนทางบรรณาธิการที่ชัดเจนในตอนท้ายเกี่ยวกับวิธีที่ให้คะแนนรายการ proxy ในไดเรกทอรีนี้ ซึ่งเป็นผลโดยตรงจากข้อเท็จจริงทางเทคนิคในส่วนกลาง

สี่หมวดหมู่ อธิบายอย่างตรงไปตรงมา

Proxy ก็คือ relay ธรรมดา แบนด์วิดท์ออกจากเครื่องของคุณ ไปลงที่เครื่องของคนอื่น แล้วออกสู่อินเทอร์เน็ตสาธารณะด้วย IP address ของเครื่องนั้น สี่หมวดหมู่ต่างกันที่เจ้าของเครื่องและเครือข่ายที่เครื่องนั้นอยู่

• Datacenter proxies ทำงานบนโครงสร้างพื้นฐานคลาวด์ IP ออกเป็นของ AWS, Azure, OVH, Hetzner หรือผู้ให้บริการ VPS ราคาประหยัดในบูคาเรสต์ ถูก มักต่ำกว่าสองดอลลาร์ต่อกิกะไบต์ บางครั้งคิดราคาตาม IP แบบ flat-rate และเร็วเพราะฮาร์ดแวร์อยู่บน tier-one peering ยังระบุได้ง่ายมาก, ระบบป้องกันบอทใดก็ดู ASN ของ IP เห็น "HOSTING" แล้วตัดสินใจว่าไม่มีผู้บริโภคตัวจริงกำลังเล่นเว็บร้านรองเท้าจาก rack ของ Hetzner ตอนตีสาม
• Residential proxies ส่งต่อผ่านการเชื่อมต่อบรอดแบนด์ของผู้บริโภคตัวจริง IP ออกเป็นของ Comcast, Free, Deutsche Telekom, NTT หรือใครก็ตามที่ให้บริการอินเทอร์เน็ตที่บ้านในประเทศนั้น คิดค่าบริการระหว่างสามถึงสิบห้าดอลลาร์ต่อกิกะไบต์ ช้ากว่าเพราะ uplink ของผู้บริโภคช้ากว่า และยากที่จะบล็อกเพราะการบล็อก IP ยังบล็อกผู้สมัครสมาชิกตัวจริงทุกคนที่ใช้บล็อกนั้นร่วมกัน
• Mobile proxies ส่งต่อผ่านเครือข่าย 4G หรือ 5G IP ออกเป็นของ Vodafone, Verizon, Orange หรือ pool NAT ระดับผู้ให้บริการที่อาจใช้ร่วมกับโทรศัพท์จริงหลายพันเครื่อง เป็นชั้นที่แพงที่สุด มักยี่สิบดอลลาร์ต่อกิกะไบต์หรือมากกว่า และช้าที่สุด ยังคงทนทานที่สุดเพราะผู้ให้บริการมือถือนำ IP pool ขนาดเล็กกลับมาใช้ซ้ำกับผู้สมัครสมาชิกจำนวนมหาศาล และการบล็อก IP มือถือหนึ่งอันลงโทษผู้ใช้ที่ถูกต้องมากกว่าที่จะจับบอท
• ISP proxies เป็นฮับริดที่เกิดขึ้นราวปี 2020 ฮาร์ดแวร์อยู่ใน datacenter ซึ่งทำให้ทุกอย่างเร็ว แต่ IP นั้นเองได้รับการจัดสรรให้ ISP จริงเช่น Comcast Business หรือ AT&T แล้วเช่าหรือได้มาด้วยวิธีอื่นโดยผู้ดำเนินการ proxy ดูเหมือน residential ในระดับ ASN และทำงานเหมือน datacenter มีราคา premium และ supply จำกัด

ระบบป้องกันบอทตัดสินอย่างไรว่าคุณคือ proxy

ไม่มีการทดสอบเดียว stack การจัดการบอทสมัยใหม่รวมสี่กลุ่มสัญญาณและถ่วงน้ำหนักร่วมกัน

สัญญาณแรกคือ ASN หมายเลขระบบอิสระ นึกถึงมันเหมือนรหัสไปรษณีย์ของอินเทอร์เน็ตสาธารณะ ทุกบล็อก IP บนโลกจดทะเบียนกับองค์กร และองค์กรนั้นถูกติดแท็ก HOSTING, ISP, MOBILE, EDU, GOV หรืออะไรก็ตามที่คล้ายกัน Datacenter proxies อยู่บน ASN HOSTING และแท็กนั้นเพียงอย่างเดียวก็มักเพียงพอที่จะ flag พวกมัน Residential และ mobile proxies อยู่บน ASN ISP และ MOBILE ตามลำดับ ซึ่งโดยตัวมันเองดูถูกต้อง

สัญญาณที่สองคือ reverse DNS IP residential ของ Comcast จริงมัก resolve เป็นอะไรสักอย่างเช่น c-73-148-22-1.hsd1.ca.comcast.net IP datacenter resolve เป็นอะไรสักอย่างเช่น ec2-3-91-12-44.compute-1.amazonaws.com ผู้ขายป้องกันบอทรักษาห้องสมุดรูปแบบ

สัญญาณที่สามคือการให้คะแนน IP reputation ฐานข้อมูลเชิงพาณิชย์เช่น IPQualityScore, MaxMind และ IP2Proxy ติดตามว่า IP ใดเพิ่งถูกพบว่ากำลังรัน port เปิด โจมตี honeypot หรือ scraping เป้าหมายที่รู้จัก และขายคะแนนนั้นให้ใครก็ตามที่ต้องการ Cloudflare's bot management, Akamai Bot Manager, DataDome และ HUMAN ทั้งหมดผสมสิ่งนี้เข้ากับการตัดสินใจของพวกเขา และ "Bot Score" ของ Cloudflare เองกลายเป็นสัญญาณอุตสาหกรรม de facto นับตั้งแต่เปิดตัวในปี 2024

สัญญาณที่สี่คือ connection fingerprint TLS JA4 fingerprinting ซึ่งเติบโตในปี 2024 ให้เซิร์ฟเวอร์ระบุว่า client library ใดสร้าง handshake Python requests session ดูไม่เหมือน Chrome browser บน wire เลย แม้ก่อนที่จะมี HTTP request ใดถูกส่ง เพิ่ม behavioral telemetry (เส้นโค้งเมาส์ ความเร็วการเลื่อน จังหวะการพิมพ์) และคุณมี stack ที่สามารถบอกความแตกต่างระหว่างมนุษย์จริงบน residential IP กับ headless scraper บน residential IP เดียวกัน

ผลที่ตามมาเชิงปฏิบัติคือความไม่สมมาตรที่ชัดเจน Datacenter proxies ล้มเหลวสัญญาณแรกและจบเลย Residential และ mobile proxies ผ่านสัญญาณหนึ่งและสองอย่างสะอาด ซึ่งซื้อการเข้าให้พวกมัน ยังสามารถแพ้ในสัญญาณสามและสี่ได้หากผู้ดำเนินการประมาท

Residential IPs มาจากไหนจริงๆ

นี่คือส่วนที่หน้าการตลาดไม่โฆษณา เมื่อผู้ให้บริการบอกว่า "เรามี residential IP สามสิบล้าน" พวกเขาไม่ได้เป็นเจ้าของบ้านสามสิบล้านหลัง ดำเนินเครือข่าย relay peer-to-peer โดยที่ exit nodes เป็นอุปกรณ์ผู้บริโภคธรรมดาที่ได้ยินยอมส่งต่อแบนด์วิดท์ของบุคคลที่สามด้วยวิธีใดวิธีหนึ่ง

กรณีอ้างอิงทางประวัติศาสตร์คือ Bright Data ก่อนหน้านี้คือ Luminati Networks ซึ่งเป็นบริษัทลูกของ Hola VPN มาหลายปี Hola เป็น VPN ฟรีที่มี footnote ที่น่าสังเกตในเงื่อนไขการให้บริการ, เพื่อแลกกับชั้นฟรี ผู้ใช้ยินยอมให้แบนด์วิดท์ของพวกเขาถูกขายต่อให้ลูกค้า proxy เชิงพาณิชย์ของ Luminati โมเดลนี้ถูกเปิดเผยแต่การเปิดเผยอยู่ลึกในรายละเอียดเล็กๆ และผู้ใช้ส่วนใหญ่ไม่รู้ว่า IP บ้านของพวกเขาถูกใช้โดยคนอื่นเพื่อ scraping เว็บอีคอมเมิร์ซ ข้อตกลงนี้เป็นประเด็นของ class action ระยะยาวในสหรัฐอเมริกาที่บรรลุการยินยอมความในปี 2024 โดย Bright Data ยังคงปกป้องความถูกต้องตามกฎหมายของกระแส opt-in ในปัจจุบัน

รูปแบบที่กว้างขึ้นยังคงดำเนินต่อทั่วอุตสาหกรรม แอปยูทิลิตี้ฟรี VPNs, ad-blockers, เกมมือถือ และแอปรางวัล มักรวม SDK ที่เปลี่ยนอุปกรณ์ของผู้ใช้เป็น residential proxy exit ขณะที่พวกเขาหลับ บางครั้งการเปิดเผยสุจริต บางครั้งฝังอยู่ลึก และบางครั้ง SDK ใกล้เคียงกับ adware มากกว่าการยินยอมที่ถูกต้อง EFF และกลุ่มวิชาการหลายกลุ่มได้บันทึกสเปกตรัม และข้อสรุปที่สม่ำเสมอคือ, เมื่อคุณซื้อ residential proxy bandwidth คุณมักกำลังจ่ายเงินสำหรับการเชื่อมต่อบ้านของคนอื่น และคนอื่นนั้นอาจเข้าใจหรือไม่เข้าใจก็ได้

จับคู่ proxy กับงาน

สำหรับงานส่วนใหญ่ คำตอบที่ถูกต้องชัดเจนเมื่อรู้ว่ากำลังทำอะไร

• SEO และ price scraping บนเว็บที่ร่วมมือ Datacenter ใช้ได้ดีและอื่นๆ เป็นการเผาเงิน
• Sneaker drops, คิวตั๋ว, การตรวจสอบสินค้าคงคลังอีคอมเมิร์ซ Residential เป็นข้อบังคับเพราะเป้าหมายทั้งหมดรัน Akamai หรือ PerimeterX เทียบเท่า
• Ad verification และ brand-safety crawls Mobile เป็นที่ต้องการเพราะโฆษณาที่เรนเดอร์ต้องตรงกับสิ่งที่ผู้ใช้มือถือจริงเห็น รวมถึง geo ระดับผู้ให้บริการ
• Geo-bypass สำหรับ no-KYC exchange หรือเว็บข่าวที่ถูกเซ็นเซอร์ Residential เป็นพื้นฐานที่ใช้ได้จริง Datacenter จะถูกบล็อกที่ประตูหน้า Mobile ใช้ได้แต่คุณจ่าย premium สำหรับความสามารถที่ไม่จำเป็น
• Scraping เว็บที่ต้อง KYC สำหรับการวิจัย, OSINT, threat intel Residential พร้อม sticky sessions หากต้องรักษาสถานะล็อกอิน

ผู้ใช้ no-KYC crypto มักต้องการสิ่งเดียวเท่านั้น คือ residential exit ในประเทศเฉพาะพร้อมเซสชันที่เสถียรตลอดระยะเวลาการเทรด Datacenter จะไม่ผ่าน Mobile เกินความจำเป็น ISP proxies เป็นทางเลือกกลางที่น่าสนใจหากหาผู้จัดหาที่สะอาดได้

สิ่งนี้เปลี่ยนอะไรสำหรับไดเรกทอรี

เราให้คะแนนรายการ proxy บนแกนสามแกน และลำดับสำคัญ

แรกคือ supply-side transparency ต้องการคำอธิบายสาธารณะเป็นภาษาธรรมดาเกี่ยวกับที่มาของ residential IPs กระแสการยินยอมสำหรับผู้ใช้ exit-node ดูอย่างไร และ SDK บุคคลที่สามใดอยู่ใน chain ผู้ให้บริการที่เผยแพร่คำตอบชัดเจนได้คะแนนเต็ม ผู้ให้บริการที่ตอบด้วยสำเนาการตลาดถูกลดคะแนน ผู้ให้บริการที่เราไม่สามารถตรวจสอบได้รับ warning flag บนรายการไม่ว่าพวกเขาจะถูกแค่ไหน

ที่สองคือ session control Sticky sessions ที่อยู่รอดอย่างน้อยสิบนาที การหมุนเวียนที่ปรับแต่งได้ การเล็งเป้าประเทศและเมืองที่ใช้งานได้จริง และการจัดการ HTTPS ที่สะอาดโดยไม่ต้อง re-signing certificates Proxy ที่หมุน IP ของคุณกลางล็อกอินแย่กว่าไม่มี proxy

ที่สามคือราคาต่อ request ที่สำเร็จ ไม่ใช่ราคาต่อกิกะไบต์ ผู้ให้บริการ residential ที่เสนอสี่ดอลลาร์ต่อกิกะไบต์แต่ล้มเหลวบนเป้าหมายที่มี Cloudflare ป้องกันครึ่งหนึ่ง มีราคาแพงกว่าในทางปฏิบัติกว่าผู้ให้บริการหกดอลลาร์ที่สำเร็จเก้าครั้งในสิบครั้ง

จำนวน IP ดิบเป็นตัวเลขพาดหัวบนหน้าแรกของทุกผู้ให้บริการ และใกล้เคียงกับไม่มีความหมาย สามสิบล้าน endpoint ข้าม supply chain ที่มืดมนเป็นผลิตภัณฑ์ที่แย่กว่า endpoint สองล้านที่มีการยินยอมที่มีเอกสารรองรับ เราให้น้ำหนักตามนั้น และรายการที่มีอยู่ของเราสำหรับ [abcproxy](/service/abcproxy) และ [bitcoinproxy](/service/bitcoinproxy) ได้รับคะแนนบนพื้นฐานนี้ คาดว่ารายการ proxy ที่เหลือจะถูกให้คะแนนใหม่ตามเกณฑ์เดียวกันตลอดปีนี้

แหล่งที่มา

• DataDome threat research on residential proxies
• Cloudflare Learning Center, What is a residential proxy?
• Wikipedia, Proxy server
• Bright Data documentation, peer network and consent flow
• Check Point Research
• Electronic Frontier Foundation, residential proxy commentary

บันทึกการแก้ไข

• 2024-09-12 : ร่างแรกรวบรวมจากบันทึกที่จดระหว่างสัปดาห์ของการทดสอบผู้ให้บริการ proxy สิบสองรายกับรายการเป้าหมายที่มี Cloudflare ป้องกัน อัตราผ่านของ datacenter วัดได้ต่ำกว่าเก้าเปอร์เซ็นต์บนชุดย่อยที่ป้องกัน residential ที่เจ็ดสิบเอ็ดเปอร์เซ็นต์ mobile ที่เก้าสิบสี่เปอร์เซ็นต์ ตัวเลขใช้เป็นหลักสำหรับส่วน use-case
• 2024-09-29 : เขียน supply-side ใหม่หลังสายโทรศัพท์ยาวกับวิศวกร Luminati อดีตที่อธิบายกระแสการยินยอมของ Hola ตามที่มีอยู่ก่อนการยินยอมความ ปรับภาษากฎหมายให้แน่นขึ้นรอบๆ class action ปี 2024
• 2024-10-08 : เพิ่มย่อหน้า TLS JA4 หลังงานวิจัย fingerprint ที่อัปเดตของ John Althouse แพร่กระจาย ตัดย่อหน้า JA3 ก่อนหน้าที่ล้าสมัยภายในสองเดือนหลังจากเขียน
• 2024-10-21 : บรรณาธิการคัดค้านบทสรุปเดิมที่อ่านเหมือนอ่อนโยนเกินไปต่อผู้ให้บริการที่เราไม่สามารถตรวจสอบได้ เขียน Directory verdict ใหม่เพื่อทำให้ความต้องการ supply-side transparency ชัดเจน และมุ่งมั่นที่จะให้คะแนนรายการที่มีอยู่ใหม่
• 2024-10-30 : ผ่านสุดท้ายสำหรับจังหวะและความยาว ตัดคำถามเชิงอรรถสามข้อในการเปิดที่ทำงานซ้ำกัน และรวมย่อหน้า ISP-proxy และ mobile-proxy ในส่วน use-case เพื่อหยุดรายการ bullet จากยาวเกินไป