প্রক্সি কিনছেন? জানেন না কোনটি কোথায় ভেঙে পড়ে!

জিও-ব্লক করা গবেষকের দ্বিধাদ্বন্দ্ব

লিসবনের এক কফিশপে বসে আছেন। ছয় মাস আগে অন্য দেশ থেকে ব্যবহার করা একটি no-KYC এক্সচেঞ্জে লগইন করতে চাইছেন, কিন্তু এক্সচেঞ্জের ফ্রন্ট পেজ এখন লগইন ফর্মের বদলে একটা নম্র আইনি নোটিশ দেখাচ্ছে। মনে হয় একটা প্রক্সি দিয়ে এটা পার হওয়া যাবে। তিনটি প্রদানকারীর ট্যাব খুললেন, আর দশ সেকেন্ডের মধ্যেই মূল্য নির্ধারণের স্তরে ডুবে গেলেন, যেখানে "ডেটাসেন্টার," "রেসিডেনশিয়াল," "মোবাইল," আর "ISP" লেবেল লাগানো প্যাকেজ, প্রতি গিগাবাইটে দুই সেন্ট থেকে বারো ডলার পর্যন্ত। প্রযুক্তিগত দ্বিধাদ্বন্দ্বটা বাস্তব এবং গুরুত্বপূর্ণ। ভুল ক্যাটাগরি বেছে নিলে হয় অপ্রয়োজনীয় ব্যান্ডউইথে টাকা পোড়াবেন, নয়তো "লগ ইন" এ ক্লিক করতেই CAPTCHA দেয়ালার মুখোমুখি হবেন। সঠিকটি বেছে নিলে প্রক্সি আছে কিনা সেটা লক্ষ্যই করবেন না।

এই প্রাইমারে আছে চারটি প্রক্সি ক্যাটাগরি, অ্যান্টি-বট সিস্টেম কীভাবে তাদের আলাদা করে, আইপি আসলে কোথা থেকে আসে, আর কোনটি কোন কাজের জন্য। শেষে আমাদের একটি শক্তিশালী সম্পাদকীয় অবস্থানও আছে, যা এই ডিরেক্টরিতে প্রক্সি লিস্টিং কীভাবে গ্রেড করা হয়, এবং সেই অবস্থান মাঝখানের প্রযুক্তিগত তথ্যের সরাসরি ফলাফল।

চারটি ক্যাটাগরি, সরলভাবে

প্রক্সি মূলত একটি রিলে। আপনার ট্রাফিক আপনার মেশিন ছেড়ে অন্যের মেশিনে যায়, সেই মেশিনের আইপি ধারণ করে পাবলিক ইন্টারনেটে বেরিয়ে আসে। চারটি ক্যাটাগরির পার্থক্য হয় এই মেশিনের মালিক কে এবং এটি কোন নেটওয়ার্কে আছে।

• ডেটাসেন্টার প্রক্সি ক্লাউড ইনফ্রাস্ট্রাকচারে চলে। এক্সিট আইপি AWS, Azure, OVH, Hetzner, অথবা বুখারেস্টের কোনো বাজেট VPS হোস্টের। দাম কম, প্রায়শই গিগাবাইটে দুই ডলারের নিচে, কখনো কখনো প্রতি আইপি ফ্ল্যাট-রেট। দ্রুত, কারণ অন্তর্নিহিত হার্ডওয়্যার টায়ার-ওয়ান পিয়ারিংয়ে বসে। তুচ্ছভাবে সনাক্তযোগ্যও; যেকোনো অ্যান্টি-বট সিস্টেম আইপির ASN লুকআপ করে, "HOSTING" দেখতে পায়, আর সিদ্ধান্ত নেয় যে কোনো বাস্তব ভোক্তা ভোর তিনটায় Hetznerের র‍্যাক থেকে স্নিকার স্টোর ব্রাউজ করছেন না।
• রেসিডেনশিয়াল প্রক্সি বাস্তব ভোক্তা ব্রডব্যান্ড সংযোগ দিয়ে রাউট করে। এক্সিট আইপি Comcast, Free, Deutsche Telekom, NTT, অথবা সংশ্লিষ্ট দেশের হোম ইন্টারনেট সরবরাহকারীর। দাম পড়ে গিগাবাইটে তিন থেকে পনেরো ডলার। ধীর, কারণ ভোক্তা আপলিঙ্ক ধীর। ব্লক করা কঠিন, কারণ একটি আইপি ব্লক করলে সেই ব্লক ভাগ করা প্রতিটি বাস্তব সাবস্ক্রাইবারও ব্লক হয়ে যায়।
• মোবাইল প্রক্সি 4G বা 5G ক্যারিয়ার দিয়ে রাউট করে। এক্সিট আইপি Vodafone, Verizon, Orange, অথবা ক্যারিয়ার-গ্রেড NAT পুলের, যা হাজার হাজার বাস্তব ফোনের সাথে ভাগ করা হতে পারে। সবচেয়ে দামি স্তর, প্রায়শই গিগাবাইটে বিশ ডলার বা তার বেশি। সবচেয়ে ধীরও বটে। সবচেয়ে স্থিতিস্থাপক, কারণ মোবাইল ক্যারিয়াররা অসংখ্য সাবস্ক্রাইবার জুড়ে আইপির ছোট পুল পুনঃব্যবহার করে, আর একটি মোবাইল আইপি ব্লক করলে বহু বৈধ ব্যবহারকারী শাস্তি পায়, যা বট ধরার চেয়ে অনেক বেশি ব্যয়বহুল।
• ISP প্রক্সি একটি হাইব্রিড, ২০২০ সালের দিকে উদ্ভূত। হার্ডওয়্যার ডেটাসেন্টারে বসে, যা দ্রুত রাখে; কিন্তু আইপি নিজে বাস্তব ISP যেমন Comcast Business বা AT&T-র ইস্যু করা, পরে প্রক্সি অপারেটারের কাছে লিজ বা অন্যভাবে অর্জিত। ASN লেভেলে রেসিডেনশিয়াল দেখায়, পারফর্ম্যান্স ডেটাসেন্টারের মতো। প্রিমিয়াম দাম, সাপ্লাই সীমিত।

অ্যান্টি-বট সিস্টেম কীভাবে বোঝে যে আপনি প্রক্সি ব্যবহার করছেন

কোনো একক পরীক্ষা নেই। আধুনিক বট ম্যানেজমেন্ট স্ট্যাক চারটি সিগন্যাল ফ্যামিলি একত্রিত করে, একসাথে ওজন দেয়।

প্রথম সিগন্যাল হল ASN, অটোনোমাস সিস্টেম নম্বর। এটিকে পাবলিক ইন্টারনেটের পোস্টাল কোড ভাবুন। পৃথিবীর প্রতিটি আইপি ব্লক একটি সংস্থার কাছে নিবন্ধিত, সেই সংস্থাকে HOSTING, ISP, MOBILE, EDU, GOV, বা অন্য কিছু ট্যাগ করা হয়। ডেটাসেন্টার প্রক্সি HOSTING ASN-এ বাস করে, এই লেবেল একাই সাধারণত এগুলো ফ্ল্যাগ করার জন্য যথেষ্ট। রেসিডেনশিয়াল এবং মোবাইল প্রক্সি যথাক্রমে ISP এবং MOBILE ASN-এ বাস করে, যা নিজে থেকে বৈধ দেখায়।

দ্বিতীয় সিগন্যাল হল রিভার্স DNS। বাস্তব Comcast রেসিডেনশিয়াল আইপি সাধারণত c-73-148-22-1.hsd1.ca.comcast.net-এর মতো কিছুতে রিজলভ হয়। ডেটাসেন্টার আইপি ec2-3-91-12-44.compute-1.amazonaws.com-এর মতো কিছুতে। অ্যান্টি-বট ভেন্ডররা প্যাটার্ন লাইব্রেরি মেইনটেইন করে।

তৃতীয় সিগন্যাল হল আইপি রেপুটেশন স্কোরিং। IPQualityScore, MaxMind, এবং IP2Proxy-এর মতো বাণিজ্যিক ডাটাবেস ট্র্যাক করে কোন আইপিগুলো সম্প্রতি ওপেন পোর্ট চালিয়েছে, হনিপট হিট করেছে, বা পরিচিত টার্গেট স্ক্র্যাপিং করতে দেখা গেছে; তারা যে চায় তাকে সেই স্কোর বিক্রি করে। Cloudflare-এর বট ম্যানেজমেন্ট, Akamai Bot Manager, DataDome, এবং HUMAN সবাই এটি তাদের সিদ্ধান্তে মিশ্রিত করে, এবং Cloudflare-এর নিজস্ব "Bot Score" ২০২৪ রোলআউটের পর ডি ফ্যাক্টো ইন্ডাস্ট্রি সিগন্যালে পরিণত হয়েছে।

চতুর্থ সিগন্যাল হল কানেকশন ফিঙ্গারপ্রিন্ট। TLS JA4 ফিঙ্গারপ্রিন্টিং, ২০২৪ সালে পরিণত হয়েছে, একটি সার্ভারকে কোন ক্লায়েন্ট লাইব্রেরি হ্যান্ডশেক তৈরি করেছে তা সনাক্ত করতে দেয়। Python requests সেশন ওয়্যারে Chrome ব্রাউজারের মতো কিছুই দেখায় না, কোনো HTTP রিকোয়েস্ট পাঠানোর আগেই। আচরণগত টেলিমেট্রি (মাউস কার্ভ, স্ক্রল ভেলোসিটি, কিস্ট্রোক টাইমিং) যোগ করলে স্ট্যাক তৈরি হয়, যা একই রেসিডেনশিয়াল আইপিতে বাস্তব মানুষকে হেডলেস স্ক্র্যাপার থেকে আলাদা করতে পারে।

ব্যবহারিক ফলাফল তীব্র অসমমিতি। ডেটাসেন্টার প্রক্সি সিগন্যাল একেই ফেইল করে, শেষ। রেসিডেনশিয়াল এবং মোবাইল প্রক্সি সিগন্যাল এক এবং দুই পরিষ্কারভাবে পাস করে, এতে প্রবেশ কিনে নেয়। অপারেটর অসাবধান হলে সিগন্যাল তিন এবং চারেও হারতে পারে।

রেসিডেনশিয়াল আইপি আসলে কোথা থেকে আসে

এই অংশটা মার্কেটিং পেজগুলো বিজ্ঞাপন দেয় না। কোনো প্রদানকারী যখন বলে "আমাদের ত্রিশ মিলিয়ন রেসিডেনশিয়াল আইপি আছে," তারা ত্রিশ মিলিয়ন বাড়ির মালিক নন। তারা একটি পিয়ার-টু-পিয়ার রিলে নেটওয়ার্ক পরিচালনা করেন, যেখানে এক্সিট নোডগুলো সাধারণ ভোক্তা ডিভাইস, যা এক বা অন্য উপায়ে তৃতীয় পক্ষের ট্রাফিক ফরওয়ার্ড করতে সম্মত হয়েছে।

ঐতিহাসিক রেফারেন্স কেস হল Bright Data, পূর্বে Luminati Networks, যা বছরের পর বছর Hola VPN-এর একটি সাবসিডিয়ারি ছিল। Hola ছিল একটি ফ্রি VPN, একটি উল্লেখযোগ্য ফুটনোট সহ; ফ্রি টায়ারের বিনিময়ে ব্যবহারকারীরা তাদের ব্যান্ডউইথ Luminati-এর বাণিজ্যিক প্রক্সি গ্রাহকদের কাছে পুনঃবিক্রয় করতে সম্মত হন। মডেলটি প্রকাশ করা হয়েছিল, কিন্তু প্রকাশনা ছিল শর্তাবলীর গভীরে, আর বেশিরভাগ ব্যবহারকারীর কোনো ধারণাই ছিল না যে তাদের হোম আইপি অন্য কারো দ্বারা ই-কমার্স সাইট স্ক্র্যাপিংয়ের জন্য ব্যবহার হচ্ছিল। এই ব্যবস্থাটি ২০২৪ সালে নিষ্পত্তিতে পৌঁছায়, যুক্তরাষ্ট্রের একটি দীর্ঘমেয়াদী ক্লাস অ্যাকশনের বিষয় ছিল; Bright Data তাদের বর্তমান অপ্ট-ইন ফ্লোর বৈধতা রক্ষা করতে থাকে।

বৃহত্তর প্যাটার্নটি শিল্প জুড়ে বিরাজমান। ফ্রি ইউটিলিটি অ্যাপ, VPN, অ্যাড-ব্লকার, মোবাইল গেম, এবং রিওয়ার্ড অ্যাপ প্রায়শই একটি SDK বান্ডল করে, যা ব্যবহারকারীর ডিভাইসকে ঘুমানোর সময় রেসিডেনশিয়াল প্রক্সি এক্সিটে পরিণত করে। কখনো প্রকাশনা সৎ, কখনো গভীরে পোঁতা, আর মাঝে মাঝে SDK-টি বৈধ সম্মতির চেয়ে অ্যাডওয়্যারের কাছাকাছি। EFF এবং বেশ কয়েকটি একাডেমিক গ্রুপ স্পেকট্রামটি ডকুমেন্ট করেছে, এবং শিক্ষাটি স্থির; রেসিডেনশিয়াল প্রক্সি ব্যান্ডউইথ কিনলে সাধারণত অন্যের হোম কানেকশনের জন্য পে করা হয়, এবং সেই অন্য ব্যক্তি বুঝতে পারে বা নাও পারে যে তা হচ্ছে।

কাজ অনুযায়ী প্রক্সি বাছাই

বেশিরভাগ কাজের জন্য সঠিক উত্তর একবার জেনে গেলেই স্পষ্ট, যদি জানেন আসলে কী করছেন।

• সহযোগী সাইটে SEO এবং মূল্য স্ক্র্যাপিং। ডেটাসেন্টার ঠিক আছে, অন্য কিছু অপচয়িত অর্থ।
• স্নিকার ড্রপ, টিকিট কিউ, ই-কমার্স ইনভেন্টরি মনিটরিং। রেসিডেনশিয়াল বাধ্যতামূলক, কারণ টার্গেট স্ট্যাকগুলো সবই Akamai বা PerimeterX সমতুল্য চালায়।
• অ্যাড ভেরিফিকেশন এবং ব্র্যান্ড-সেফটি ক্রল। মোবাইল পছন্দনীয়, কারণ রেন্ডার্ড অ্যাডটি বাস্তব মোবাইল ব্যবহারকারী যা দেখে তা ম্যাচ করতে হবে, ক্যারিয়ার-লেভেল জিও সহ।
• no-KYC এক্সচেঞ্জ বা সেন্সর করা নিউজ সাইটের জন্য জিও-বাইপাস। রেসিডেনশিয়াল বাস্তবিক ন্যূনতম। ডেটাসেন্টার ফ্রন্ট ডোরে ব্লক হবে। মোবাইল কাজ করে, কিন্তু অপ্রয়োজনীয় ক্যাপাসিটির জন্য প্রিমিয়াম পে করতে হবে।
• গবেষণা, OSINT, থ্রেট ইন্টেলের জন্য KYC-প্রয়োজনীয় সাইট স্ক্র্যাপিং। রেসিডেনশিয়াল, স্টিকি সেশন সহ যদি লগড-ইন স্টেট মেইনটেইন করতে হয়।

no-KYC ক্রিপ্টো ব্যবহারকারী সাধারণত ঠিক একটিই জিনিস চান, নির্দিষ্ট দেশে স্থিতিশীল সেশন সহ রেসিডেনশিয়াল এক্সিট, ট্রেডের সময়কালের জন্য। ডেটাসেন্টার পার হবে না। মোবাইল অতিরিক্ত। ISP প্রক্সি আকর্ষণীয় মধ্যম পথ, যদি ক্লিন সাপ্লাইয়ার পাওয়া যায়।

ডিরেক্টরির জন্য এটি কী পরিবর্তন করে

আমরা প্রক্সি লিস্টিং তিনটি অক্ষে গ্রেড করি, এবং ক্রমটি গুরুত্বপূর্ণ।

প্রথম হল সাপ্লাই-সাইড স্বচ্ছতা। আমরা চাই রেসিডেনশিয়াল আইপি কোথা থেকে আসে, এক্সিট-নোড ব্যবহারকারীর জন্য সম্মতি ফ্লো কেমন দেখায়, চেইনে কোন তৃতীয় পক্ষের SDK আছে; এগুলোর পাবলিক, সরল-ভাষায় ব্যাখ্যা চাই। যারা স্পষ্ট উত্তর প্রকাশ করে তারা পূর্ণ নম্বর পায়। যারা মার্কেটিং কপি দিয়ে উত্তর দেয় তারা নম্বর কাটে। যাদের সম্পূর্ণ যাচাই করতে পারি না, তারা যে কতই সস্তা হোক না কেন, লিস্টিংয়ে সতর্কতা ফ্ল্যাগ পায়।

দ্বিতীয় হল সেশন কন্ট্রোল। কমপক্ষে দশ মিনিট টিকে থাকা স্টিকি সেশন, কনফিগারেবল রোটেশন, কাজ করা কান্ট্রি এবং সিটি টার্গেটিং, সার্টিফিকেট পুনঃস্বাক্ষর না করে HTTPS-এর ক্লিন হ্যান্ডলিং। প্রক্সি যা মধ্য-লগইনে আইপি রোটেট করে, সেটা কোনো প্রক্সির চেয়েও খারাপ।

তৃতীয় হল প্রতি গিগাবাইটে দাম নয়, প্রতি সফল রিকোয়েস্টে দাম। রেসিডেনশিয়াল প্রদানকারী যা গিগাবাইটে চার ডলার কোট করে, কিন্তু Cloudflare-প্রোটেক্টেড টার্গেটের অর্ধেকে ফেইল করে, ব্যবহারিকভাবে ছয় ডলারের প্রদানকারীর চেয়ে বেশি দামি, যা দশবারের নয়বার সফল হয়।

IP কাউন্ট প্রতিটি প্রদানকারীর হোমপেজের হেডলাইন নম্বর, প্রায় অর্থহীন। ম্লান সাপ্লাই চেইন জুড়ে ত্রিশ মিলিয়ন এন্ডপয়েন্ট, ডকুমেন্টেড সম্মতি সহ দুই মিলিয়ন এন্ডপয়েন্টের চেয়ে খারাপ প্রোডাক্ট। আমরা সেই অনুযায়ী ওজন দেই, এবং [abcproxy](/service/abcproxy) এবং [bitcoinproxy](/service/bitcoinproxy)-এর জন্য বিদ্যমান লিস্টিং এই ভিত্তিতে স্কোর করা হয়েছে। বছরের বাকি সময়ে বাকি প্রক্সি ক্যাটাগরির বাকি লিস্টিং একই রুব্রিকে পুনঃগ্রেড করা হবে বলে আশা করুন।

সূত্র

• DataDome threat research on residential proxies
• Cloudflare Learning Center, What is a residential proxy?
• Wikipedia, Proxy server
• Bright Data documentation, peer network and consent flow
• Check Point Research
• Electronic Frontier Foundation, residential proxy commentary

সম্পাদনা লগ

• 2024-09-12 : প্রাথমিক ড্রাফট Cloudflare-প্রোটেক্টেড টার্গেট লিস্টের বিরুদ্ধে বারোটি প্রক্সি প্রদানকারী টেস্টিংয়ের নোট থেকে সংকলিত। প্রোটেক্টেড সাবসেটে ডেটাসেন্টার পাস রেট নয় শতাংশের নিচে মাপা হয়, রেসিডেনশিয়াল একাত্তর শতাংশ, মোবাইল চুরানব্বই শতাংশ। ব্যবহার-কেস সেকশনে অ্যাঙ্কর করতে সংখ্যাগুলো ব্যবহার করা হয়।
• 2024-09-29 : একজন সাবেক Luminati ইঞ্জিনিয়ারের সাথে দীর্ঘ ফোন কলের পর সাপ্লাই-সাইড সেকশন পুনঃলিখিত, যিনি নিষ্পত্তির আগে Hola সম্মতি ফ্লো হেঁটে দেখিয়েছিলেন। ২০২৪ ক্লাস অ্যাকশনের আইনি ভাষা টাইটেন করা হয়।
• 2024-10-08 : John Althouse-এর আপডেটেড ফিঙ্গারপ্রিন্ট রিসার্চ চলাচল করার পর TLS JA4 প্যারাগ্রাফ যোগ করা হয়। JA3-এর একটি পূর্ববর্তী প্যারাগ্রাফ কাটা হয়, যা লিখার দুই মাসের মধ্যে অপ্রচলিত হয়ে গিয়েছিল।
• 2024-10-21 : সম্পাদক মূল ক্লোজিংয়ে পুশব্যাক করেন, যা আমরা যাচাই করতে পারি না এমন প্রদানকারীদের উপর খুব নরম পড়েছিল। ডিরেক্টরি ভার্ডিক্ট পুনঃলিখিত, যাতে সাপ্লাই-সাইড স্বচ্ছতা প্রয়োজনীয়তা স্পষ্ট হয় এবং বিদ্যমান লিস্টিং পুনঃগ্রেড করতে প্রতিশ্রুতিবদ্ধ হয়।
• 2024-10-30 : ক্যাডেন্স এবং দৈর্ঘ্যের জন্য চূড়ান্ত পাস। ওপেনিংয়ে তিনটি রিটরিক্যাল প্রশ্ন ট্রিম করা হয়, যা একই কাজ করছিল; ব্যবহার-কেস সেকশনে ISP-প্রক্সি এবং মোবাইল-প্রক্সি প্যারাগ্রাফ মার্জ করা হয়, যাতে বুলেট লিস্টটি খুব দীর্ঘ না হয়।