Residential vs datacenter proxies: Ποιος αντέχει, ποιος «καίγεται» και τι να διαλέξεις

Το δίλημμα του ερευνητή πίσω από geo-block

Κάθεστε σε ένα καφέ της Λισαβόνας και προσπαθείτε να συνδεθείτε σε ένα no-KYC ανταλλακτήριο που είχατε χρησιμοποιήσει πριν από έξι μήνες από άλλη χώρα. Η αρχική σελίδα τώρα εμφανίζει μια ευγενική νομική ειδοποίηση αντί για φόρμα σύνδεσης. Ξέρετε ότι ένα proxy θα σας άνοιγε τον δρόμο. Ανοίγετε τρεις καρτέλες με παρόχους και μέσα σε δέκα δευτερόλεπτα πνίγεστε σε επίπεδα τιμολόγησης με ετικέτες «datacenter», «residential», «mobile» και «ISP», το καθένα κοστίζοντας από δύο λεπτά έως δώδεκα δολάρια ανά gigabyte. Η τεχνική διακλάδωση είναι πραγματική και έχει σημασία. Αν επιλέξετε λάθος κατηγορία, είτε καίτε χρήματα σε bandwidth που δεν χρειάζεστε, είτε πέφτετε πάνω σε έναν τοίχο CAPTCHA τη στιγμή που πατάτε «σύνδεση». Αν επιλέξετε σωστά, δεν παρατηρείτε καν ότι το proxy λειτουργεί.

Αυτός είναι ένας οδηγός για τις τέσσερις κατηγορίες proxy, για το πώς τα συστήματα anti-bot τις ξεχωρίζουν, από πού προέρχονται στην πραγματικότητα οι IP, και ποια κατηγορία ταιριάζει σε ποια δουλειά. Στο τέλος διατυπώνουμε μια σαφή συντακτική θέση για το πώς βαθμολογούμε τις καταχωρήσεις proxy σε αυτόν τον κατάλογο, θέση που απορρέει άμεσα από τα τεχνικά δεδομένα που προηγούνται.

Οι τέσσερις κατηγορίες, απλά

Ένα proxy είναι απλώς ένας αναμεταδότης. Η κίνησή σας φεύγει από τη συσκευή σας, προσγειώνεται σε μια άλλη συσκευή και εξέρχεται στο δημόσιο διαδίκτυο με τη διεύθυνση IP αυτής της συσκευής. Οι τέσσερις κατηγορίες διαφέρουν ως προς τον ιδιοκτήτη της συσκευής και το δίκτυο στο οποίο ανήκει.

• Datacenter proxies τρέχουν σε υποδομή cloud. Η exit IP ανήκει σε AWS, Azure, OVH, Hetzner ή σε κάποιον οικονομικό πάροχο VPS στο Βουκουρέστι. Είναι φθηνοί, συχνά κάτω από δύο δολάρια ανά gigabyte και μερικές φορές με flat-rate ανά IP, και είναι γρήγοροι επειδή το υποκείμενο hardware βρίσκεται σε tier-one peering. Είναι όμως και τετριμμένα αναγνωρίσιμοι: κάθε σύστημα anti-bot μπορεί να ελέγξει το ASN της IP, να δει την ετικέτα «HOSTING» και να συμπεράνει ότι κανένας πραγματικός καταναλωτής δεν περιηγείται σε sneaker store από rack της Hetzner στις τρεις τα ξημερώματα.
• Residential proxies δρομολογούνται μέσω πραγματικών ευρυζωνικών συνδέσεων. Η exit IP ανήκει σε Comcast, Free, Deutsche Telekom, NTT ή σε όποιον παρέχει οικιακό internet στη σχετική χώρα. Κοστίζουν από τρία έως δεκαπέντε δολάρια ανά gigabyte. Είναι πιο αργοί επειδή τα consumer uplinks είναι πιο αργά, και είναι δυσκολότερο να μπλοκαριστούν επειδή το μπλοκάρισμα ενός IP block θα έπληττε και κάθε πραγματικό συνδρομητή που το μοιράζεται.
• Mobile proxies δρομολογούνται μέσω δικτύων 4G ή 5G. Η exit IP ανήκει σε Vodafone, Verizon, Orange ή σε κάποιο carrier-grade NAT pool που μπορεί να μοιράζεται με χιλιάδες πραγματικά τηλέφωνα. Είναι το ακριβότερο επίπεδο, συχνά είκοσι δολάρια ανά gigabyte ή περισσότερο, και το πιο αργό. Είναι όμως και το πιο ανθεκτικό, επειδή οι mobile φορείς επαναχρησιμοποιούν μικρά pools από IPs σε τεράστιους αριθμούς συνδρομητών, οπότε το μπλοκάρισμα μιας mobile IP τιμωρεί πολύ περισσότερους νόμιμους χρήστες από όσα bots πιάνει.
• ISP proxies είναι ένα υβρίδιο που εμφανίστηκε γύρω στο 2020. Το hardware βρίσκεται σε datacenter, κάτι που τα διατηρεί γρήγορα, αλλά η ίδια η IP είχε εκδοθεί σε πραγματικό ISP όπως η Comcast Business ή η AT&T και στη συνέχεια ενοικιάστηκε ή αποκτήθηκε με άλλον τρόπο από τον χειριστή proxy. Φαίνονται residential στο επίπεδο ASN και επιδίδονται σαν datacenter. Έχουν premium τιμολόγηση και η προσφορά τους είναι περιορισμένη.

Πώς τα συστήματα anti-bot αποφασίζουν ότι είστε proxy

Δεν υπάρχει ένα μοναδικό τεστ. Οι σύγχρονες στοίβες bot management συνδυάζουν τέσσερις οικογένειες σημάτων και τις ζυγίζουν από κοινού.

Το πρώτο σήμα είναι το ASN, το Autonomous System Number. Σκεφτείτε το ως τον ταχυδρομικό κώδικα του δημόσιου διαδικτύου. Κάθε IP block στη γη είναι καταχωρημένο σε έναν οργανισμό, και αυτός ο οργανισμός φέρει την ετικέτα HOSTING, ISP, MOBILE, EDU, GOV ή κάτι παρόμοιο. Τα datacenter proxies ζουν σε HOSTING ASNs, και αυτή η ετικέτα μόνη της είναι συνήθως αρκετή για να τα σημαδέψει. Τα residential και mobile proxies ζουν σε ISP και MOBILE ASNs αντίστοιχα, κάτι που από μόνο του φαίνεται νόμιμο.

Το δεύτερο σήμα είναι το reverse DNS. Μια πραγματική residential IP της Comcast συνήθως αναλύεται σε κάτι σαν c-73-148-22-1.hsd1.ca.comcast.net. Μια IP datacenter αναλύεται σε κάτι σαν ec2-3-91-12-44.compute-1.amazonaws.com. Οι προμηθευτές anti-bot διατηρούν βιβλιοθήκες μοτίβων.

Το τρίτο σήμα είναι το IP reputation scoring. Εμπορικές βάσεις δεδομένων όπως οι IPQualityScore, MaxMind και IP2Proxy παρακολουθούν ποιες IPs εμφανίστηκαν πρόσφατα να τρέχουν ανοιχτές θύρες, να χτυπούν honeypots ή να κάνουν scraping σε γνωστούς στόχους, και πουλούν αυτό το σκορ σε όποιον το θέλει. Τα Cloudflare's bot management, Akamai Bot Manager, DataDome και HUMAN όλα το ενσωματώνουν στις αποφάσεις τους, και το ίδιο το «Bot Score» της Cloudflare έχει γίνει το de facto βιομηχανικό σήμα από την κυκλοφορία του το 2024.

Το τέταρτο σήμα είναι το connection fingerprint. Το TLS JA4 fingerprinting, που ωρίμασε το 2024, επιτρέπει σε έναν server να αναγνωρίσει ποια client library δημιούργησε το handshake. Ένα Python requests session δεν μοιάζει καθόλου με Chrome browser στο καλώδιο, ακόμα και πριν σταλεί οποιοδήποτε HTTP request. Προσθέστε behavioral telemetry (καμπύλες ποντικιού, ταχύτητα scroll, χρονομέτρηση πληκτρολόγησης) και έχετε μια στοίβα που μπορεί να ξεχωρίσει έναν πραγματικό άνθρωπο σε residential IP από έναν headless scraper στο ίδιο residential IP.

Η πρακτική συνέπεια είναι μια έντονη ασυμμετρία. Τα datacenter proxies αποτυγχάνουν στο πρώτο σήμα και τελειώνουν εκεί. Τα residential και mobile proxies περνούν καθαρά τα δύο πρώτα σήματα, κάτι που τους εξασφαλίζει είσοδο. Μπορούν όμως ακόμα να χάσουν στα σήματα τρία και τέσσερα αν ο χειριστής είναι απρόσεκτος.

Από πού προέρχονται στην πραγματικότητα οι residential IPs

Αυτό είναι το κομμάτι που οι σελίδες marketing δεν διαφημίζουν. Όταν ένας πάροχος λέει «έχουμε τριάντα εκατομμύρια residential IPs», δεν κατέχουν τριάντα εκατομμύρια σπίτια. Λειτουργούν ένα peer-to-peer relay network όπου τα exit nodes είναι συνηθισμένες συσκευές καταναλωτών που, με τον έναν ή τον άλλον τρόπο, έχουν συμφωνήσει να προωθούν traffic τρίτων.

Η ιστορική αναφορά είναι η Bright Data, πρώην Luminati Networks, που για χρόνια ήταν θυγατρική της Hola VPN. Η Hola ήταν ένα δωρεάν VPN με μια αξιοσημείωτη υποσημείωση στους όρους χρήσης: σε αντάλλαγμα για το δωρεάν επίπεδο, οι χρήστες συμφωνούσαν να αφήσουν το bandwidth τους να μεταπωληθεί στους εμπορικούς πελάτες proxy της Luminati. Το μοντέλο αποκαλυπτόταν, αλλά η αποκάλυψη ήταν βαθιά κρυμμένη στο ψιλό γράμμα, και οι περισσότεροι χρήστες αγνοούσαν ότι η οικιακή τους IP χρησιμοποιούνταν από άλλους για scraping σε e-commerce sites. Η υπόθεση αποτέλεσε αντικείμενο μακροχρόνιας class action στις ΗΠΑ που έληξε με settlement το 2024, με τη Bright Data να συνεχίζει να υπερασπίζεται τη νομιμότητα του τρέχοντος opt-in flow της.

Το ευρύτερο μοτίβο επιμένει σε ολόκληρη τη βιομηχανία. Δωρεάν εφαρμογές χρησιμότητας, VPNs, ad-blockers, mobile games και reward apps συχνά ενσωματώνουν ένα SDK που μετατρέπει τη συσκευή του χρήστη σε residential proxy exit ενώ αυτός κοιμάται. Μερικές φορές η αποκάλυψη είναι έντιμη, άλλες είναι θαμμένη, και περιστασιακά το SDK πλησιάζει περισσότερο σε adware παρά σε νόμιμη συναίνεση. Η EFF και αρκετές ακαδημαϊκές ομάδες έχουν τεκμηριώσει το φάσμα, και το συμπέρασμα είναι σταθερό: όταν αγοράζετε residential proxy bandwidth, συνήθως πληρώνετε για τη σύνδεση του σπιτιού κάποιου άλλου, και αυτός ο κάποιος άλλος μπορεί να το γνωρίζει ή όχι.

Ταιριάζοντας το proxy στη δουλειά

Για τις περισσότερες δουλειές, η σωστή απάντηση είναι προφανής μόλις ξέρετε τι κάνετε.

• SEO και price scraping σε συνεργάσιμα sites. Το datacenter είναι μια χαρά, και οτιδήποτε άλλο είναι σπατάλη χρημάτων.
• Sneaker drops, ουρές εισιτηρίων, παρακολούθηση e-commerce inventory. Το residential είναι υποχρεωτικό, επειδή οι στοίβες των στόχων τρέχουν όλες Akamai ή PerimeterX equivalents.
• Ad verification και brand-safety crawls. Το mobile προτιμάται, επειδή το rendered ad πρέπει να ταιριάζει με αυτό που βλέπει ένας πραγματικός mobile χρήστης, συμπεριλαμβανομένου του carrier-level geo.
• Geo-bypass για ένα no-KYC ανταλλακτήριο ή ένα λογοκριμένο news site. Το residential είναι το πρακτικό ελάχιστο. Το datacenter θα μπλοκαριστεί στην είσοδο. Το mobile δουλεύει, αλλά πληρώνετε premium για χωρητικότητα που δεν χρειάζεστε.
• Scraping KYC-required sites για έρευνα, OSINT, threat intel. Residential, με sticky sessions αν χρειάζεται να διατηρήσετε logged-in state.

Ο no-KYC crypto χρήστης συνήθως θέλει ακριβώς ένα πράγμα: residential exit σε συγκεκριμένη χώρα με σταθερή session για τη διάρκεια μιας συναλλαγής. Το datacenter δεν θα περάσει. Το mobile είναι υπερβολή. Τα ISP proxies αποτελούν ένα ενδιαφέρον ενδιάμεσο, αν μπορείτε να βρείτε καθαρό προμηθευτή.

Τι αλλάζει αυτό για τον Κατάλογο

Βαθμολογούμε τις καταχωρήσεις proxy σε τρεις άξονες, και η σειρά έχει σημασία.

Πρώτος είναι η supply-side transparency. Θέλουμε μια δημόσια, απλή εξήγηση για το από πού προέρχονται οι residential IPs, πώς μοιάζει το consent flow για τον χρήστη exit-node και ποια third-party SDKs βρίσκονται στην αλυσίδα. Πάροχοι που δημοσιεύουν σαφή απάντηση παίρνουν πλήρη βαθμολογία. Πάροχοι που απαντούν με marketing copy παίρνουν μείωση. Πάροχοι που δεν μπορούμε να επαληθεύσουμε παίρνουν warning flag στην καταχώρηση, ανεξάρτητα από το πόσο φθηνοί είναι.

Δεύτερος είναι ο έλεγχος session. Sticky sessions που επιβιώνουν τουλάχιστον δέκα λεπτά, configurable rotation, country και city targeting που πραγματικά δουλεύει, και καθαρός χειρισμός HTTPS χωρίς re-signing πιστοποιητικών. Ένα proxy που αλλάζει την IP σας μέσα στη σύνδεση είναι χειρότερο από κανένα proxy.

Τρίτο είναι το price per successful request, όχι το price per gigabyte. Ένας residential πάροχος που προσφέρει τέσσερα δολάρια ανά gigabyte αλλά αποτυγχάνει σε μισούς Cloudflare-protected στόχους είναι στην πράξη πιο ακριβός από έναν πάροχο έξι δολαρίων που πετυχαίνει εννιά στις δέκα.

Το raw IP count είναι ο τίτλος σε κάθε αρχική σελίδα παρόχου και είναι σχεδόν άνευ νοήματος. Τριάντα εκατομμύρια endpoints σε θολή αλυσίδα προμήθειας είναι χειρότερο προϊόν από δύο εκατομμύρια endpoints με τεκμηριωμένη συναίνεση. Βαρύνουμε ανάλογα, και οι υπάρχουσες καταχωρήσεις μας για [abcproxy](/service/abcproxy) και [bitcoinproxy](/service/bitcoinproxy) βαθμολογούνται σε αυτή τη βάση. Περιμένετε τον υπόλοιπο proxy κατηγορία να επαναβαθμολογηθεί με το ίδιο rubric μέσα στο υπόλοιπο του έτους.

Πηγές

• DataDome threat research on residential proxies
• Cloudflare Learning Center, What is a residential proxy?
• Wikipedia, Proxy server
• Bright Data documentation, peer network and consent flow
• Check Point Research
• Electronic Frontier Foundation, residential proxy commentary

Edit log

• 2024-09-12 : Αρχικό draft συναρμολογημένο από σημειώσεις που πάρθηκαν κατά τη διάρκεια μιας εβδομάδας testing δώδεκα παρόχων proxy εναντίον μιας Cloudflare-protected λίστας στόχων. Datacenter pass rate μετρήθηκε κάτω από εννιά τοις εκατό στο προστατευμένο υποσύνολο, residential στο εβδομήντα ένα τοις εκατό, mobile στο ενενήντα τέσσερα τοις εκατό. Οι αριθμοί χρησιμοποιήθηκαν για να αγκυρώσουν την ενότητα use-case.
• 2024-09-29 : Ανασυγγραφή της ενότητας supply-side μετά από ένα μακρύ τηλεφώνημα με έναν πρώην μηχανικό της Luminati που περπάτησε μέσα από το Hola consent flow όπως υπήρχε pre-settlement. Σφίξιμο της νομικής γλώσσας γύρω από τη class action του 2024.
• 2024-10-08 : Προσθήκη της παραγράφου TLS JA4 αφού η ενημερωμένη έρευνα fingerprinting του John Althouse κυκλοφορούσε. Κόψιμο μιας προηγούμενης παραγράφου για JA3 που είχε ξεπεραστεί μέσα σε δύο μήνες από τη συγγραφή της.
• 2024-10-21 : Ο συντάκτης αντιτάχθηκε στο αρχικό closing, που διάβαζε ως πολύ soft σε παρόχους που δεν μπορούμε να επαληθεύσουμε. Ανασυγγραφή του Directory verdict για να καταστήσει ρητή την απαίτηση supply-side transparency και να δεσμευτεί σε επαναβαθμολόγηση των υπαρχουσών καταχωρήσεων.
• 2024-10-30 : Τελικό πέρασμα για cadence και length. Κόψιμο τριών ρητορικών ερωτήσεων στην αρχή που έκαναν την ίδια δουλειά και συγχώνευση των παραγράφων ISP-proxy και mobile-proxy στην ενότητα use-case για να σταματήσει η λίστα bullet από το να τρέχει πολύ.