پروکسی مسکونی یا دیتاسنتر؛ کِی جواب نمی‌دهد و کدام را بگیریم؟

چهارراه پژوهشگر محدودشده جغرافیایی

نشسته‌اید در کافه‌ای در لیسبون و می‌خواهید وارد صرافی no-KYC شوید؛ همان صرافی‌ای که شش ماه پیش از کشور دیگری به آن دسترسی داشتید. حالا صفحه‌اش به جای فرم ورود، اطلاعیه‌ای حقوقی و مؤدبانه نشان می‌دهد. می‌دانید پروکسی شما را از این بن‌بست بیرون می‌برد. سه تب مرورگر باز می‌کنید و ظرف ده ثانیه، غرق در سطوح قیمت‌گذاری با برچسب‌های «دیتاسنتر»، «مسکونی»، «موبایل» و «ISP» می‌شوید؛ هر کدام قیمتی از دو سنت تا دوازده دلار در گیگابایت دارد. این شاخه‌بندی فنی، واقعی و سرنوشت‌ساز است. دسته اشتباه را برگزینید و یا پولتان را روی پهنای باندی می‌سوزانید که نیاز نداشتید، یا در همان لحظه کلیک روی «ورود» با دیوار CAPTCHA روبه‌رو می‌شوید. درست را انتخاب کنید و اصلاً متوجه وجود پروکسی نخواهید شد.

این نوشتار، مقدمه‌ای است بر چهار دسته پروکسی، شیوه تشخیص آن‌ها توسط سامانه‌های ضدربات، منشأ واقعی IPها و اینکه کدام یک برای کدام کار ساخته شده. در پایان، موضعی قاطع تحریریه درباره چگونگی ارزیابی فهرست‌های پروکسی در این دایرکتوری خواهید خواند؛ موضعی که حاصل مستقیم حقایق فنیِ میانه متن است.

چهار دسته، به زبان ساده

پروکسی صرفاً یک رله است. ترافیک شما از دستگاهتان خارج می‌شود، روی دستگاه دیگری فرود می‌آید و با IP آن دستگاه به اینترنت عمومی وارد می‌شود. تفاوت چهار دسته در مالکیت آن دستگاه و شبکه‌ای است که روی آن قرار دارد.

• پروکسی‌های دیتاسنتر روی زیرساخت ابری اجرا می‌شوند. IP خروجی متعلق به AWS، Azure، OVH، Hetzner یا یک میزبان VPS ارزان در بخارست است. ارزان‌اند، اغلب زیر دو دلار در گیگابایت و گاهی با نرخ ثابت به ازای هر IP، و سریع‌اند چون سخت‌افزار زیربنایی روی peering سطح یک قرار دارد. از سوی دیگر شناسایی‌شان بسیار آسان است؛ هر سامانه ضدربات می‌تواند ASN IP را جستجو کند، برچسب «HOSTING» را ببیند و نتیجه بگیرد که هیچ مصرف‌کننده واقعی ساعت سه صبح از رک Hetzner وارد فروشگاه کفش نمی‌شود.
• پروکسی‌های مسکونی از طریق اتصالات باندپهن واقعی مصرف‌کنندگان مسیریابی می‌شوند. IP خروجی متعلق به Comcast، Free، Deutsche Telekom، NTT یا هر شرکتی است که اینترنت خانگی در کشور مربوطه ارائه می‌دهد. قیمت‌شان بین سه تا پانزده دلار در گیگابایت است. کندترند چون uplinkهای مصرفی کندتر است، و مسدود کردن‌شان دشوارتر است چون بستن یک بلوک IP همزمان هر مشترک واقعی را که آن بلوک را به اشتراک می‌گذارد، مسدود می‌کند.
• پروکسی‌های موبایل از طریق اپراتورهای 4G یا 5G مسیریابی می‌شوند. IP خروجی متعلق به Vodafone، Verizon، Orange یا یک استخر NAT سطح اپراتور است که ممکن است با هزاران گوشی واقعی به اشتراک گذاشته شود. گران‌ترین سطح‌اند، اغلب بیست دلار در گیگابایت یا بیشتر، و کندترین. در عین حال مقاوم‌ترین‌اند چون اپراتورهای موبایل استخرهای کوچک IP را بین تعداد عظیمی مشترک استفاده مجدد می‌کنند، و مسدود کردن یک IP موبایل کاربران مشروع بسیار بیشتری را نسبت به شناسایی ربات‌ها مجازات می‌کند.
• پروکسی‌های ISP ترکیبی‌اند که حدود سال 2020 پدیدار شدند. سخت‌افزار در دیتاسنتر قرار دارد که سرعت را حفظ می‌کند، اما خود IP به یک ISP واقعی مانند Comcast Business یا AT&T تخصیص یافته و سپس توسط اپراتور پروکسی اجاره یا به نحوی کسب شده است. در سطح ASN مسکونی به نظر می‌رسند و مانند دیتاسنتر عمل می‌کنند. قیمت بالاست و عرضه محدود.

سامانه‌های ضدربات چگونه پروکسی بودن شما را تشخیص می‌دهند

هیچ آزمون واحدی وجود ندارد. پشته‌های مدیریت ربات مدرن، چهار خانواده سیگنال را با هم ترکیب و وزن‌دهی می‌کنند.

نخستین سیگنال، ASN یا شماره سامانه مستقل است. آن را مانند کدپستی اینترنت عمومی در نظر بگیرید. هر بلوک IP روی زمین به یک سازمان ثبت شده و آن سازمان برچسب HOSTING، ISP، MOBILE، EDU، GOV یا مشابه دارد. پروکسی‌های دیتاسنتر روی ASNهای HOSTING قرار دارند و همین برچسب به تنهایی معمولاً برای پرچم‌گذاری آن‌ها کافی است. پروکسی‌های مسکونی و موبایل به ترتیب روی ASNهای ISP و MOBILE قرار دارند که به خودی خود مشروع به نظر می‌رسند.

دومین سیگنال، DNS معکوس است. یک IP مسکونی واقعی Comcast معمولاً به چیزی مانند c-73-148-22-1.hsd1.ca.comcast.net حل می‌شود. یک IP دیتاسنتر به چیزی مانند ec2-3-91-12-44.compute-1.amazonaws.com حل می‌شود. فروشندگان ضدربات، کتابخانه‌های الگوی گسترده‌ای نگهداری می‌کنند.

سومین سیگنال، امتیازدهی اعتبار IP است. پایگاه‌های داده تجاری مانند IPQualityScore، MaxMind و IP2Proxy ردیابی می‌کنند که کدام IPها اخیراً پورت‌های باز داشته‌اند، به honeypotها حمله کرده‌اند یا اهداف شناخته‌شده را scrape کرده‌اند؛ و این امتیاز را به هر خریداری می‌فروشند. Cloudflare Bot Management، Akamai Bot Manager، DataDome و HUMAN همه این داده را در تصمیمات خود می‌گنجانند، و «Bot Score» اختصاصی Cloudflare از زمان عرضه در 2024 به یک سیگنال صنعتی de facto تبدیل شده است.

چهارمین سیگنال، اثر انگشت اتصال است. fingerprinting TLS JA4 که در 2024 بالغ شد، به سرور اجازه می‌دهد تشخیص دهد کدام کتابخانه کلاینت، handshake را تولید کرده است. یک session Python requests روی شبکه، هیچ شباهتی به مرورگر Chrome ندارد، حتی پیش از ارسال نخستین درخواست HTTP. اگر telemetry رفتاری (منحنی‌های حرکت ماوس، سرعت اسکرول، زمان‌بندی keystroke) را هم اضافه کنید، پشته‌ای دارید که می‌تواند یک انسان واقعی روی IP مسکونی را از یک scraper headless روی همان IP مسکونی تمیز دهد.

پیامد عملی، یک نامتقارنی تیز است. پروکسی‌های دیتاسنتر از سیگنال یک عبور نمی‌کنند و آنجا تمام می‌شود. پروکسی‌های مسکونی و موبایل سیگنال‌های یک و دو را به پاکی می‌گذرانند، که ورودی برای آن‌ها می‌خرد. اما اگر اپراتور سست باشد، هنوز می‌توانند روی سیگنال‌های سه و چهار ببازند.

IPهای مسکونی واقعاً از کجا می‌آیند

این همان بخشی است که صفحات بازاریابی تبلیغ نمی‌کنند. وقتی یک ارائه‌دهنده می‌گوید «سی میلیون IP مسکونی داریم»، منظورش این نیست که صاحب سی میلیون خانه است. او یک شبکه رله peer-to-peer اداره می‌کند که در آن گره‌های خروجی، دستگاه‌های مصرفی معمولی‌اند؛ دستگاه‌هایی که به نحوی، به هر ترتیبی، با هدایت ترافیک شخص ثالث موافقت کرده‌اند.

مورد مرجع تاریخی، Bright Data است که پیشتر Luminati Networks نام داشت و سال‌ها یک زیرمجموعه از Hola VPN بود. Hola یک VPN رایگان با یک پانویس قابل توجه در شرایط خدمات خود بود؛ در ازای سطح رایگان، کاربران با فروش مجدد پهنای باند خود به مشتریان پروکسی تجاری Luminati موافقت کرده بودند. این مدل افشا شده بود، اما افشا در انتهای متن ریزچاپ بود و اکثر کاربران هیچ ایده‌ای نداشتند که IP خانه‌شان توسط شخص دیگری برای scrape کردن سایت‌های تجارت الکترونیک استفاده می‌شود. این توافق، موضوع یک دعوای طبقاتی طولانی‌مدت در ایالات متحده بود که در 2024 به توافق رسید؛ Bright Data همچنان از مشروعیت جریان opt-in فعلی خود دفاع می‌کند.

الگوی گسترده‌تر در سراسر صنعت ادامه دارد. اپلیکیشن‌های ابزار رایگان، VPNها، مسدودکننده‌های تبلیغات، بازی‌های موبایل و اپلیکیشن‌های پادوش اغلب یک SDK به همراه دارند که دستگاه کاربر را در حالت خواب به یک خروجی پروکسی مسکونی تبدیل می‌کند. گاهی افشا صادقانه است، گاهی مدفون است و گاهی SDK به adware نزدیک‌تر است تا به رضایت مشروع. EFF و چندین گروه دانشگاهی طیف کامل را مستند کرده‌اند و نتیجه‌گیری ثابت این است؛ وقتی پهنای باند پروکسی مسکونی می‌خرید، معمولاً در حال پرداخت به اتصال خانگی شخص دیگری هستید و آن شخص دیگر ممکن است درک کند یا نکند.

تطبیق پروکسی با کار

برای اکثر کارها، پاسخ درست وقتی می‌دانید چه می‌کنید آشکار است.

• SEO و scrape قیمت روی سایت‌های همکار. دیتاسنتر کافی است و هر چیز دیگری پول هدررفته است.
• عرضه کفش، صف بلیت، پایش موجودی تجارت الکترونیک. مسکونی اجباری است چون پشته‌های هدف همه Akamai یا معادل‌های PerimeterX را اجرا می‌کنند.
• تأیید تبلیغ و crawl ایمنی برند. موبایل ترجیح داده می‌شود چون تبلیغ رندرشده باید با آنچه یک کاربر موبایل واقعی می‌بیند مطابقت داشته باشد، از جمله geo سطح اپراتور.
• عبور از محدودیت جغرافیایی برای یک صرافی no-KYC یا یک سایت خبری سانسورشده. مسکونی کف عملی است. دیتاسنتر در همان در ورودی مسدود خواهد شد. موبایل کار می‌کند اما برای ظرفیتی که نیاز ندارید هزینه بالایی می‌پردازید.
• Scrape سایت‌های KYC-required برای تحقیق، OSINT یا intel تهدید. مسکونی، با sessionهای sticky اگر نیاز به حفظ وضعیت logged-in دارید.

کاربر no-KYC ارز دیجیتال معمولاً دقیقاً یک چیز می‌خواهد؛ خروجی مسکونی در کشور مشخص با session پایدار برای مدت یک معامله. دیتاسنتر از آن عبور نخواهد کرد. موبایل بیش از حد است. پروکسی‌های ISP یک میانه جالب توجه‌اند اگر بتوانید تأمین‌کننده‌ای پاک پیدا کنید.

این برای دایرکتوری چه تغییری ایجاد می‌کند

ما فهرست‌های پروکسی را روی سه محور ارزیابی می‌کنیم و ترتیب اهمیت دارد.

نخست، شفافیت سمت عرضه است. ما یک توضیح عمومی و به زبان ساده درباره منشأ IPهای مسکونی، شکل جریان رضایت برای کاربر گره خروجی و اینکه کدام SDKهای شخص ثالث در زنجیره هستند می‌خواهیم. ارائه‌دهندگانی که پاسخ روشن منتشر می‌کنند نمره کامل می‌گیرند. ارائه‌دهندگانی که با متن بازاریابی پاسخ می‌دهند نمره پایین می‌گیرند. ارائه‌دهندگانی که نمی‌توانیم تأیید کنیم، پرچم هشدار روی فهرست می‌گیرند صرف‌نظر از ارزانی‌شان.

دوم، کنترل session است. sessionهای sticky که حداقل ده دقیقه دوام می‌آورند، چرخش قابل پیکربندی، هدف‌گیری کشور و شهر که واقعاً کار می‌کند و مدیریت پاک HTTPS بدون امضای مجدد گواهینامه‌ها. پروکسی که IP شما را در میانه ورود بچرخاند، بدتر از نبود پروکسی است.

سوم، قیمت به ازای درخواست موفق است نه قیمت به ازای گیگابایت. یک ارائه‌دهنده مسکونی که چهار دلار در گیگابایت قیمت می‌دهد اما روی نیمی از اهداف محافظت‌شده Cloudflare شکست می‌خورد، در عمل گران‌تر از یک ارائه‌دهنده شش دلاری است که نه بار از ده بار موفق می‌شود.

تعداد IP خام، عدد تیتر روی صفحه اصلی هر ارائه‌دهنده است و تقریباً بی‌معنی است. سی میلیون نقطه پایانی در یک زنجیره عرضه مبهم، محصولی بدتر از دو میلیون نقطه پایانی با رضایت مستند است. ما متناسب وزن‌دهی می‌کنیم و فهرست‌های موجود ما برای [abcproxy](/service/abcproxy) و [bitcoinproxy](/service/bitcoinproxy) بر این اساس امتیازدهی شده‌اند. انتظار دارید بقیه دسته پروکسی تا پایان سال بر اساس همین معیار ارزیابی مجدد شوند.

منابع

• تحقیق تهدید DataDome روی پروکسی‌های مسکونی
• مرکز یادگیری Cloudflare، پروکسی مسکونی چیست؟
• ویکی‌پدیا، سرور پروکسی
• مستندات Bright Data، شبکه peer و جریان رضایت
• تحقیق Check Point
• بنیاد مرزهای الکترونیکی، تفسیر پروکسی مسکونی

سیاهه ویرایش

• 2024-09-12 : پیش‌نویس اولیه از یادداشت‌های برداشته شده در طول یک هفته تست دوازده ارائه‌دهنده پروکسی در برابر لیست اهداف محافظت‌شده Cloudflare. نرخ عبور دیتاسنتر زیر نه درصد روی زیرمجموعه محافظت‌شده اندازه‌گیری شد، مسکونی هفتاد و یک درصد، موبایل نود و چهار درصد. اعداد برای لنگر بخش موارد استفاده به کار رفت.
• 2024-09-29 : بازنویسی بخش سمت عرضه پس از یک تماس تلفنی طولانی با یک مهندس سابق Luminati که جریان رضایت Hola را همان‌طور که پیش از توافق وجود داشت توضیح داد. تنگ کردن زبان حقوقی پیرامون دعوای طبقاتی 2024.
• 2024-10-08 : افزودن پاراگراف TLS JA4 پس از اینکه تحقیقات به‌روزشده fingerprinting جان آلتهاوس در حال دست‌به‌دست شدن بود. حذف یک پاراگراف قبلی روی JA3 که ظرف دو ماه از نوشتن منسوخ شده بود.
• 2024-10-21 : ویراستار با بستن اصلی مخالفت کرد که نسبت به ارائه‌دهندگانی که نمی‌توانیم تأیید کنیم بیش از حد نرم خوانده می‌شد. بازنویسی رأی دایرکتوری برای صریح کردن الزام شفافیت سمت عرضه و تعهد به ارزیابی مجدد فهرست‌های موجود.
• 2024-10-30 : عبور نهایی برای آهنگ و طول. هرس سه پرسش بلاغی در ابتدایی که همان کار را انجام می‌دادند و ادغام پاراگراف‌های پروکسی ISP و پروکسی موبایل در بخش موارد استفاده برای جلوگیری از طولانی شدن بیش از حد لیست گلوله‌ای.