Proxy dân cư và trung tâm dữ liệu: Cái bị lộ, cái bị chặn, chọn sao cho đúng?

Ngã ba đường của nhà nghiên cứu bị chặn địa lý

Bạn đang ngồi trong quán cà phê ở Lisbon, cố đăng nhập vào sàn giao dịch no-KYC từng dùng cách đây sáu tháng ở một quốc gia khác, nay trang chủ chỉ trả về thông báo pháp lý lịch sự thay vì biểu mẫu đăng nhập. Bạn biết proxy sẽ giúp vượt qua. Mở ba tab trình duyệt của các nhà cung cấp, chỉ mười giây sau đã chìm ngập trong bậc giá gắn nhãn "trung tâm dữ liệu," "dân cư," "di động," "ISP," mỗi loại từ hai xu đến mười hai đô la mỗi gigabyte. Ngã ba kỹ thuật này là thật, và nó quan trọng. Chọn sai, hoặc đốt tiền vào băng thông thừa, hoặc đập vào tường CAPTCHA ngay khi nhấp "đăng nhập." Chọn đúng, bạn thậm chí không nhận ra proxy đang chạy.

Đây là hướng dẫn cơ bản về bốn loại proxy, hệ thống chống bot phân biệt chúng ra sao, IP thực sự từ đâu mà có, và loại nào hợp với việc nào. Chúng tôi có lập trường biên tập rõ ràng ở cuối về cách chấm điểm các mục proxy trong danh mục, lập trường ấy xuất phát trực tiếp từ những diễn biến kỹ thuật ở giữa bài.

Bốn loại, nói cho gọn

Proxy đơn thuần là trạm trung chuyển. Lưu lượng của bạn rời máy, đến máy người khác, rồi xuất hiện trên internet công cộng với địa chỉ IP của máy đó. Bốn loại khác nhau ở chỗ ai sở hữu máy đó và máy thuộc mạng nào.

• Proxy trung tâm dữ liệu chạy trên hạ tầng đám mây. IP thoát thuộc về AWS, Azure, OVH, Hetzner, hoặc nhà cung cấp VPS giá rẻ ở Bucharest. Rẻ, thường dưới hai đô la mỗi gigabyte, đôi khi tính phí cố định theo IP, và nhanh vì phần cứng ngồi trên peering tier-one. Cũng dễ lộ tẩy: bất kỳ hệ thống chống bot nào cũng tra được ASN của IP, thấy nhãn "HOSTING," liền kết luận không có người dùng thực nào lúc ba giờ sáng ngồi duyệt cửa hàng giày từ rack Hetzner.
• Proxy dân cư định tuyến qua đường truyền băng thông rộng của người tiêu dùng thực. IP thoát thuộc về Comcast, Free, Deutsche Telekom, NTT, hoặc bất kỳ nhà cung cấp internet gia đình nào ở quốc gia liên quan. Giá từ ba đến mười lăm đô la mỗi gigabyte. Chậm hơn vì đường truyền người dùng vốn chậm hơn, nhưng khó bị chặn hơn vì chặn cả khối IP đồng nghĩa với việc chặn luôn người dùng thực đang dùng chung khối đó.
• Proxy di động định tuyến qua mạng 4G hoặc 5G. IP thoát thuộc về Vodafone, Verizon, Orange, hoặc nhóm NAT cấp nhà mạng có thể chia sẻ cho hàng nghìn điện thoại thực. Đắt nhất, thường từ hai mươi đô la mỗi gigabyte trở lên, và chậm nhất. Cũng bền nhất vì các nhà mạng di động tái sử dụng nhóm IP nhỏ trên số lượng thuê bao khổng lồ, chặn một IP di động sẽ trừng phạt nhiều người dùng hợp lệ hơn là bắt được bot.
• Proxy ISP là lai ghép xuất hiện từ khoảng năm 2020. Phần cứng đặt trong trung tâm dữ liệu nên giữ được tốc độ cao, nhưng bản thân IP được cấp cho ISP thực như Comcast Business hoặc AT&T rồi được nhà điều hành proxy thuê hoặc mua lại. Nhìn như dân cư ở cấp ASN, chạy như trung tâm dữ liệu. Giá cao cấp, nguồn cung hạn.

Hệ thống chống bot phát hiện proxy ra sao

Không có bài kiểm tra duy nhất. Các stack quản lý bot hiện đại kết hợp bốn nhóm tín hiệu, cân nhắc đồng thời.

Tín hiệu thứ nhất là ASN, Số Hệ Tự Trị. Hình dung như mã bưu điện của internet công cộng. Mỗi khối IP trên trái đất được đăng ký cho một tổ chức, và tổ chức đó được gắn nhãn HOSTING, ISP, MOBILE, EDU, GOV, v.v. Proxy trung tâm dữ liệu nằm trên ASN HOSTING, nhãn này một mình thường đủ để bị gắn cờ. Proxy dân cư và di động nằm trên ASN ISP và MOBILE tương ứng, vốn đã trông hợp lệ sẵn.

Tín hiệu thứ hai là reverse DNS. IP dân cư Comcast thực thường phân giải thành dạng c-73-148-22-1.hsd1.ca.comcast.net. IP trung tâm dữ liệu thì ra dạng ec2-3-91-12-44.compute-1.amazonaws.com. Các nhà cung cấp chống bot duy trì thư viện mẫu riêng.

Tín hiệu thứ ba là điểm uy tín IP. Các cơ sở dữ liệu thương mại như IPQualityScore, MaxMind, IP2Proxy theo dõi IP nào gần đây bị phát hiện mở cổng, tấn công honeypot, hoặc quét mục tiêu đã biết, rồi bán điểm đó cho bất kỳ ai muốn mua. Cloudflare Bot Management, Akamai Bot Manager, DataDome, HUMAN đều pha trộn yếu tố này vào quyết định, và "Điểm Bot" riêng của Cloudflare đã trở thành tín hiệu ngành de facto từ khi ra mắt năm 2024.

Tín hiệu thứ tư là dấu vân tay kết nối. Kỹ thuật JA4 fingerprinting TLS, đã trưởng thành năm 2024, cho phép máy chủ xác định thư viện khách hàng nào tạo ra handshake. Một phiên Python requests trông chẳng giống gì trình duyệt Chrome trên đường truyền, ngay cả trước khi bất kỳ yêu cầu HTTP nào được gửi. Thêm telemetri hành vi (đường cong chuột, tốc độ cuộn, thời gian phím) là có ngay một stack phân biệt được người thực trên IP dân cư với scraper headless cùng dùng IP dân cư ấy.

Hệ quả thực tế là bất đối xứng rõ rệt. Proxy trung tâm dữ liệu thua ngay tín hiệu thứ nhất, kết thúc cuộc chơi. Proxy dân cư và di động vượt sạch tín hiệu một và hai, nhờ đó lọt được vào trong. Chúng vẫn có thể thua ở tín hiệu ba và bốn nếu nhà điều hành cẩu thả.

IP dân cư thực sự từ đâu ra

Đây là phần các trang tiếp thị không hề quảng cáo. Khi nhà cung cấp nói "chúng tôi có ba mươi triệu IP dân cư," họ không sở hữu ba mươi triệu căn nhà. Họ vận hành mạng chuyển tiếp ngang hàng, trong đó các nút thoát chính là thiết bị người tiêu dùng thông thường đã, bằng cách này hay cách khác, đồng ý chuyển tiếp lưu lượng của bên thứ ba.

Trường hợp tham chiếu lịch sử là Bright Data, trước đây là Luminati Networks, từng là công ty con của Hola VPN. Hola là VPN miễn phí với một điều khoản đáng chú ý: để đổi lấy gói miễn phí, người dùng đồng ý để băng thông của họ được bán lại cho khách hàng proxy thương mại của Luminati. Mô hình này có công bố, nhưng công bố sâu trong điều khoản nhỏ, và hầu hết người dùng không hay biết IP nhà mình đang bị người khác dùng để quét các trang thương mại điện tử. Thỏa thuận này là chủ đề của vụ kiện tập thể kéo dài ở Mỹ, đã đạt thỏa thuận giải quyết năm 2024, trong khi Bright Data tiếp tục bảo vệ tính hợp pháp của luồng đồng ý hiện tại của họ.

Mô hình rộng hơn vẫn tồn tại khắp ngành. Ứng dụng tiện ích miễn phí, VPN, trình chặn quảng cáo, game di động, ứng dụng thưởng thường kèm theo SDK biến thiết bị người dùng thành nút thoát proxy dân cư khi họ ngủ. Có lúc công bố trung thực, có lúc chôn vùi, và thỉnh thoảng SDK mang nặng tính phần mềm quảng cáo hơn là đồng ý hợp pháp. EFF cùng một số nhóm học thuật đã ghi lại toàn bộ phổ này, bài học thì nhất quán: khi mua băng thông proxy dân cư, bạn thường đang trả tiền cho đường truyền nhà của người khác, và người đó có thể hiểu hoặc không hiểu điều đó.

Ghép proxy với từng việc

Với hầu hết công việc, câu trả lời đúng hiển nhiên một khi biết mình đang làm gì.

• SEO và quét giá trên trang hợp tác. Trung tâm dữ liệu là đủ, bất cứ thứ gì khác đều phí tiền.
• Sneaker drops, xếp hàng vé, giám sát hàng tồn kho thương mại điện tử. Dân cư là bắt buộc vì các mục tiêu đều chạy Akamai hoặc tương đương PerimeterX.
• Xác minh quảng cáo và thu thập dữ liệu an toàn thương hiệu. Di động được ưu tiên vì quảng cáo hiển thị cần khớp với những gì người dùng di động thực thấy, kể cả geo cấp nhà mạng.
• Vượt geo cho sàn no-KYC hoặc trang tin bị kiểm duyệt. Dân cư là ngưỡng thực tế. Trung tâm dữ liệu bị chặn ngay cửa. Di động chạy được nhưng bạn đang trả phí cao cho dung lượng không cần thiết.
• Quét trang yêu cầu KYC phục vụ nghiên cứu, OSINT, tình báo mối đe dọa. Dân cư, kèm phiên dính nếu cần duy trì trạng thái đăng nhập.

Người dùng crypto no-KYC thường chỉ cần đúng một thứ: thoát dân cư ở quốc gia cụ thể, phiên ổn định xuyên suốt giao dịch. Trung tâm dữ liệu không qua nổi. Di động là thừa. Proxy ISP là phương án trung gian đáng chú ý nếu tìm được nhà cung cấp sạch.

Điều này thay đổi gì cho Danh mục

Chúng tôi chấm điểm các mục proxy trên ba trục, và thứ tự này có ý nghĩa.

Thứ nhất, tính minh bạch nguồn cung. Chúng tôi muốn lời giải thích công khai, bằng ngôn ngữ đơn giản, về nguồn gốc IP dân cư, luồng đồng ý trông ra sao đối với người dùng nút thoát, và SDK bên thứ ba nào có mặt trong chuỗi. Nhà cung cấp công bố rõ ràng được điểm tối đa. Nhà cung cấp trả lời bằng văn bản tiếp thị bị trừ điểm. Nhà cung cấp chúng tôi không thể xác minh bị gắn cờ cảnh báo trên mục, bất kể rẻ đến đâu.

Thứ hai, kiểm soát phiên. Phiên dính tồn tại ít nhất mười phút, xoay vòng có thể cấu hình, nhắm mục tiêu quốc gia và thành phố thực sự hoạt động, xử lý sạch HTTPS mà không cần ký lại chứng chỉ. Proxy xoay IP giữa chừng đăng nhập còn tệ hơn không dùng proxy.

Thứ ba, giá trên mỗi yêu cầu thành công, chứ không phải giá mỗi gigabyte. Nhà cung cấp dân cư báo giá bốn đô la mỗi gigabyte nhưng thất bại một nửa các mục tiêu được Cloudflare bảo vệ thực tế đắt hơn nhà cung cấp sáu đô la thành công chín trên mười.

Số lượng IP thô là con số tiêu đề trên trang chủ mọi nhà cung cấp, và gần như vô nghĩa. Ba mươi triệu điểm cuối trên chuỗi cung ứng mờ ám là sản phẩm tệ hơn hai triệu điểm cuối có đồng ý được tài liệu hóa. Chúng tôi cân nhắc tương ứng, và các mục hiện có cho [abcproxy](/service/abcproxy) cùng [bitcoinproxy](/service/bitcoinproxy) đã được chấm điểm trên cơ sở này. Phần còn lại của danh mục proxy sẽ được chấm lại theo cùng thang điểm trong suốt năm.

Nguồn

• Nghiên cứu mối đe dọa của DataDome về proxy dân cư
• Trung tâm Học tập Cloudflare, Proxy dân cư là gì?
• Wikipedia, Máy chủ proxy
• Tài liệu Bright Data, mạng ngang hàng và luồng đồng ý
• Check Point Research
• Electronic Frontier Foundation, bình luận về proxy dân cư

Nhật ký chỉnh sửa

• 2024-09-12 : Bản thảo ban đầu được lắp ráp từ ghi chú trong tuần thử nghiệm mười hai nhà cung cấp proxy với danh sách mục tiêu được Cloudflare bảo vệ. Tỷ lệ vượt qua trung tâm dữ liệu đo được dưới chín phần trăm trên tập hợp con được bảo vệ, dân cư ở bảy mươi mốt phần trăm, di động ở chín mươi tư phần trăm. Các số liệu dùng để neo phần trường hợp sử dụng.
• 2024-09-29 : Viết lại phần nguồn cung sau cuộc gọi dài với cựu kỹ sư Luminati, người đã đi qua luồng đồng ý Hola như từng tồn tại trước giải quyết. Siết chặt ngôn ngữ pháp lý xung quanh vụ kiện tập thể 2024.
• 2024-10-08 : Thêm đoạn JA4 TLS sau khi nghiên cứu dấu vân tay cập nhật của John Althouse được lan truyền. Cắt đoạn JA3 trước đó đã lỗi thời trong vòng hai tháng sau khi viết.
• 2024-10-21 : Biên tập viên phản đối kết luận gốc, cho rằng nhẹ tay quá với các nhà cung cấp chúng tôi không thể xác minh. Viết lại phán quyết Danh mục để làm rõ yêu cầu minh bạch nguồn cung và cam kết chấm lại các mục hiện có.
• 2024-10-30 : Lượt cuối cho nhịp điệu và độ dài. Cắt ba câu hỏi tu từ trong mở đầu đang làm cùng một việc, gộp đoạn proxy ISP và proxy di động trong phần trường hợp sử dụng để danh sách gạch đầu dòng không kéo dài quá mức.