פרוקסי מגורים מול מרכז נתונים: מתי כל אחד נכשל, ואיך בוחרים נכון

הצומת של החוקר שחסום גיאוגרפית

אתה יושב בבית קפה בליסבון ומנסה להתחבר לבורסת no-KYC שהשתמשת בה לפני חצי שנה ממדינה אחרת, ועמוד הפתיחה של הבורסה מחזיר כעת הודעה משפטית מנומסת במקום טופס התחברות. אתה יודע ש-proxy יעביר אותך מעבר לזה. אתה פותח שלוש לשוניות של ספקים בדפדפן, ותוך עשר שניות אתה טובע בדרגות תמחור שמסומנות "datacenter," "residential," "mobile," ו-"ISP," כל אחת עולה בין שני סנטים לשנים-עשר דולרים לגיגה. המזלג הטכני אמיתי וחשוב. בחירה בקטגוריה הלא נכונה ואו שאתה שורף כסף על רוחב פס שלא היית צריך, או שאתה מקבל קיר CAPTCHA ברגע שאתה לוחץ על "התחבר." בחירה בנכונה ואפילו לא שמים לב שה-proxy שם.

זהו מבוא לארבע קטגוריות ה-proxy, איך מערכות אנטי-בוט מזהות אותן, מאיפה כתובות ה-IP באמת מגיעות, ואיזו קטגוריה מתאימה לאיזו עבודה. יש לנו עמדה עורכתית חזקה בסוף לגבי איך אנחנו מדרגים רשימות proxy במדריך הזה, והעמדה הזו היא תוצאה ישירה של העובדות הטכניות באמצע.

ארבע הקטגוריות, בפשטות

Proxy הוא פשוט ממסר. התעבורה שלך יוצאת מהמחשב שלך, נוחתת על מחשב של מישהו אחר, ויוצאת לאינטרנט הציבורי עם כתובת ה-IP של המחשב ההוא. ארבע הקטגוריות נבדלות במי הבעלים של המחשב הזה ובאיזו רשת הוא נמצא.

• Datacenter proxies רצות על תשתית ענן. כתובת ה-IP היוצאת שייכת ל-AWS, Azure, OVH, Hetzner, או ספק VPS זול בבוקרשט. הן זולות, לעיתים מתחת לשני דולרים לגיגה ולפעמים בתמחור קבוע ל-IP, והן מהירות כי החומרה הבסיסית יושבת על peering דרגה ראשונה. הן גם זיהויות טריוויאלית: כל מערכת אנטי-בוט יכולה לבדוק את ה-ASN של ה-IP, לראות "HOSTING," ולהחליט שאף צרכן אמיתי לא גולל חנות נעליים מארון Hetzner בשלוש לפנות בוקר.
• Residential proxies מנתבות דרך חיבורי אינטרנט ביתיים אמיתיים. כתובת ה-IP היוצאת שייכת ל-Comcast, Free, Deutsche Telekom, NTT, או מי שמספק אינטרנט ביתי במדינה הרלוונטית. הן עולות בין שלושה לחמישה-עשר דולרים לגיגה. הן איטיות יותר כי קווי העלאה ביתיים איטיים יותר, וקשה יותר לחסום אותן כי חסימת בלוק ה-IP חוסמת גם כל מנוי אמיתי שחולק את הבלוק הזה.
• Mobile proxies מנתבות דרך מפעילי 4G או 5G. כתובת ה-IP היוצאת שייכת ל-Vodafone, Verizon, Orange, או בריכת NAT ברמת מפעיל שעשויה להיות משותפת עם אלפי טלפונים אמיתיים. הן הדרגה היקרה ביותר, לעיתים עשרים דולרים לגיגה או יותר, והאיטית ביותר. הן גם החסינות ביותר כי מפעילי סלולר משתמשים מחדש בבריכות קטנות של IP על פני מספר עצום של מנויים, וחסימת IP סלולרי אחד מענישה הרבה יותר משתמשים לגיטימיים מאשר שולחת בוטים.
• ISP proxies הן היבריד שצמח בערך ב-2020. החומרה יושבת ב-datacenter, מה ששומר על מהירות, אבל ה-IP עצמו הונפק ל-ISP אמיתי כמו Comcast Business או AT&T ואז הושכר או נרכש בדרך אחרת על ידי מפעיל ה-proxy. הן נראות residential ברמת ה-ASN והן מתפקדות כמו datacenter. הן בתמחור פרימיום וההיצע מוגבל.

איך מערכות אנטי-בוט מחליטות שאתה proxy

אין מבחן יחיד. מערכות ניהול בוט מודרניות משלבות ארבע משפחות של אותות ושוקללות אותן יחד.

האות הראשון הוא ה-ASN, מספר המערכת האוטונומית. חשבו עליו כעל המיקוד של האינטרנט הציבורי. כל בלוק IP בעולם רשום לארגון, והארגון מתויג HOSTING, ISP, MOBILE, EDU, GOV, או משהו דומה. Datacenter proxies יושבות על ASN מסוג HOSTING והתווית הזו לבדה בדרך כלל מספיקה לסמן אותן. Residential ו-mobile proxies יושבות על ASN מסוג ISP ו-MOBILE בהתאמה, שבפני עצמו נראה לגיטימי.

האות השני הוא reverse DNS. IP residential אמיתי של Comcast בדרך כלל מתפרש למשהו כמו c-73-148-22-1.hsd1.ca.comcast.net. IP של datacenter מתפרש למשהו כמו ec2-3-91-12-44.compute-1.amazonaws.com. ספקי אנטי-בוט מתחזקים ספריות של תבניות.

האות השלישי הוא ניקוד מוניטין IP. מסדי נתונים מסחריים כמו IPQualityScore, MaxMind, ו-IP2Proxy עוקבים אחרי אילו IP נראו לאחרונה עם פורטים פתוחים, פוגעים ב-honeypots, או סורקים מטרות ידועות, והם מוכרים את הניקוד הזה לכל מי שרוצה. ניהול הבוטים של Cloudflare, Akamai Bot Manager, DataDome, ו-HUMAN כולם משלבים את זה בהחלטות שלהם, ו"Bot Score" של Cloudflare עצמה הפך לאות התעשייה de facto מאז השקתו ב-2024.

האות הרביעי הוא טביעת האצבע של החיבור. TLS JA4 fingerprinting, שהבשיל ב-2024, מאפשר לשרת לזהות איזו ספריית לקוח יצרה את ה-handshake. סשן של Python requests לא נראה בכלל כמו דפדפן Chrome על הקו, אפילו לפני שום בקשת HTTP. הוספת טלמטריה התנהגותית (עקומי עכבר, מהירות גלילה, תזמון הקשות) נותנת לך מערכת שיכולה להבדיל בין אדם אמיתי על IP residential לבין scraper headless על אותו IP residential.

התוצאה המעשית היא אסימטריה חדה. Datacenter proxies נכשלים באות הראשון וזהו. Residential ו-mobile proxies עוברות את האות הראשון והשני בנקיות, מה שקונה להן כניסה. הן עדיין יכולות להפסיד באותות השלישי והרביעי אם המפעיל רשלני.

מאיפה IP residential באמת מגיעים

זה החלק שעמודי השיווק לא מפרסמים. כשספק אומר "יש לנו שלושים מיליון IP residential," הם לא הבעלים של שלושים מיליון בתים. הם מפעילים רשת ממסר peer-to-peer שבה צומתי היציאה הם מכשירי צרכן רגילים שבדרך אחת או אחרת הסכימו להעביר תעבורה של צד שלישי.

מקרה ההתייחסות ההיסטורי הוא Bright Data, בעבר Luminati Networks, שהייתה שנים רבות חברת בת של Hola VPN. Hola הייתה VPN חינמית עם הערת שוליים בולטת בתנאי השירות שלה: בתמורה לדרגה החינמית, משתמשים הסכימו שרוחב הפס שלהם יימכר מחדש ללקוחות ה-proxy המסחריים של Luminati. המודל היה מופיע אבל ההצגה הייתה עמוקה בכתב הקטן, ורוב המשתמשים לא היו מודעים לכך שכתובת ה-IP הביתית שלהם שומשה על ידי מישהו אחר כדי לסרוק אתרי מסחר אלקטרוני. ההסדר היה נושא של תביעה ייצוגית ארוכה בארה"ב שהגיעה להסדר ב-2024, כאשר Bright Data המשיכה להגן על לגיטימיות של תהליך ההסכמה הנוכחי שלה.

התבנית הרחבה נמשכת בכל התעשייה. אפליקציות שירות חינמיות, VPNs, חוסמי פרסומות, משחקים סלולריים, ואפליקציות תגמול תכופות כוללות SDK שהופך את המכשיר של המשתמש ליציאת proxy residential בזמן שהם ישנים. לפעמים ההצגה כנה, לפעמים היא קבורה, ולעיתים ה-SDK קרוב יותר ל-adware מאשר להסכמה לגיטימית. ה-EFF וכמה קבוצות אקדמיות תיעדו את הספקטרום, והמסקנה עקבית: כשאתה קונה רוחב פס של proxy residential, אתה בדרך כלל משלם על חיבור הבית של מישהו אחר, והמישהו האחר עשוי להבין את זה ועשוי שלא.

התאמת ה-proxy לעבודה

לרוב העבודות התשובה הנכונה ברורה ברגע שיודעים מה עושים.

• SEO וסריקת מחירים באתרים שיתופיים. Datacenter מספיק וכל דבר אחר הוא בזבוז כסף.
• השקות נעליים, תורים לכרטיסים, ניטור מלאי מסחר אלקטרוני. Residential הוא חובה כי המערכות המטרה כולן רצות Akamai או מקבילי PerimeterX.
• אימות פרסום וסריקות בטיחות מותג. Mobile מועדף כי הפרסום המרונדר צריך להתאים למה שמשתמש סלולרי אמיתי רואה, כולל geo ברמת מפעיל.
• עקיפת geo עבור בורסת no-KYC או אתר חדשות מצונזר. Residential הוא הרצפה המעשית. Datacenter ייחסם בדלת הקדמית. Mobile עובד אבל אתה משלם פרימיום על קיבולת שלא צריך.
• סריקת אתרים שדורשים KYC למחקר, OSINT, threat intel. Residential, עם סשנים דביקים אם צריך לשמור מצב מחובר.

משתמש ה-crypto no-KYC בדרך כלל רוצה בדיוק דבר אחד, שהוא יציאת residential במדינה ספציפית עם סשן יציב למשך משך העסקה. Datacenter לא יעבור. Mobile הוא יתר. ISP proxies הן אפשרות ביניים מעניינת אם אפשר למצוא ספק נקי.

מה זה משנה עבור המדריך

אנחנו מדרגים רשימות proxy על שלושה צירים, והסדר חשוב.

ראשון הוא שקיפות צד ההיצע. אנחנו רוצים הסבר ציבורי ובשפה פשוטה של מאיפה IP residential מגיעים, איך נראה תהליך ההסכמה למשתמש צומת היציאה, ואילו SDKs של צד שלישי נמצאים בשרשרת. ספקים שמפרסמים תשובה ברורה מקבלים ציונים מלאים. ספקים שמגיבים עם עותק שיווקי מורדים בציון. ספקים שאנחנו לא יכולים לאמת מקבלים דגל אזהרה ברשימה ללא קשר לכמה הם זולים.

שני הוא בקרת סשן. סשנים דביקים ששורדים לפחות עשר דקות, סיבוב מתוגדר, מיקוד מדינה ועיר שעובדים בפועל, וטיפול נקי ב-HTTPS ללא חתימה מחדש של אישורים. Proxy שמסובב את ה-IP שלך באמצע התחברות גרוע יותר מאשר בלי proxy.

שלישי הוא מחיר לבקשה מוצלחת, לא מחיר לגיגה. ספק residential שמציע ארבעה דולרים לגיגה אבל נכשל בחצי ממטרות מוגנות Cloudflare הוא יקר יותר בפועל מספק בשישה דולרים שמצליח תשע מתוך עשר.

מספר IP גולמי הוא המספר הכותרת בכל עמוד הבית של ספק והוא קרוב לחסר משמעות. שלושים מיליון נקודות קצה ברששרת היצע מעורפלת היא מוצר גרוע יותר משתי מיליון נקודות קצה עם הסכמה מתועדת. אנחנו שוקללים בהתאם, והרשימות הקיימות שלנו עבור [abcproxy](/service/abcproxy) ו-[bitcoinproxy](/service/bitcoinproxy) מחושבות על בסיס זה. צפו לשאר קטגוריית ה-proxy להיות מודרגת מחדש מול אותה רובריקה במהלך שאר השנה.

מקורות

• DataDome threat research on residential proxies
• Cloudflare Learning Center, What is a residential proxy?
• Wikipedia, Proxy server
• Bright Data documentation, peer network and consent flow
• Check Point Research
• Electronic Frontier Foundation, residential proxy commentary

יומן עריכה

• 2024-09-12 : טיוטה ראשונית הורכבה מפתקים שנלקחו במהלך שבוע של בדיקת שנים-עשר ספקי proxy מול רשימת מטרות מוגנות Cloudflare. שיעור מעבר datacenter נמדד מתחת לתשעה אחוזים על תת-הקבוצה המוגנת, residential בשבעים ואחד אחוזים, mobile בתשעים וארבעה אחוזים. המספרים שימשו לעוגן סעיף תרחישי השימוש.
• 2024-09-29 : נכתב מחדש סעיף צד ההיצע לאחר שיחת טלפון ארוכה עם מהנדס Luminati לשעבר שעבר על תהליך ההסכמה של Hola כפי שהתקיים לפני ההסדר. הוחזקה השפה המשפטית סביב תביעת הייצוגיות של 2024.
• 2024-10-08 : נוסף פסקה על TLS JA4 לאחר שהמחקר המעודכן של טביעות האצבע של John Althouse עשה את הסיבוב. נחתך פסקה מוקדם על JA3 שהתיישנה תוך חודשיים מכתיבתה.
• 2024-10-21 : העורך התנגד לסיום המקורי, שנקרא כרך מדי על ספקים שאנחנו לא יכולים לאמת. נכתב מחדש פסק הדין של המדריך כדי להפוך את דרישת שקיפות צד ההיצע למפורשת ולהתחייב לדרוג מחדש של הרשימות הקיימות.
• 2024-10-30 : מעבר אחרון לקצב ולאורך. קוצצו שלוש שאלות רטוריות בפתיחה שעשו את אותה העבודה ומוזגו פסקאות ה-ISP-proxy וה-mobile-proxy בסעיף תרחישי השימוש כדי למנוע מהרשימה הנקודתית להתארך יתר על המידה.