プロキシ選定の落とし穴--レジデンシャルとデータセンター、どちらが「見破られる」か

地理ブロックされた研究者の分岐点

リスボンのコーヒーショップに腰掛け、半年前に別の国から使っていたno-KYC取引所にログインしようとしている。取引所のトップページには、ログインフォームの代わりに丁寧な法的通知が表示されている。プロキシで突破できることはわかっている。プロバイダのブラウザタブを3つ開き、10秒もしないうちに「datacenter」「residential」「mobile」「ISP」とラベル付けされた料金プランに溺れている。1GBあたり2セントから12ドルの間のどこか。技術的な分岐は実在し、それは重要だ。間違ったカテゴリを選べば、不要な帯域に金を焼くか、あるいは「ログイン」をクリックした瞬間にCAPTCHAの壁にぶつかる。正しいものを選べば、プロキシが存在していることすら気づかない。

これは4つのプロキシカテゴリ、ボット対策システムによる識別方法、IPの実際の入手先、どの仕事にどれが適するかについての入門書だ。このディレクトリでプロキシ掲載をどう評価するかについて、最後に強い編集方針を示すが、その方針は中盤の技術的事実の直接的な帰結である。

4つのカテゴリを平易に

プロキシは単なる中継だ。トラフィックは自分のマシンを出て、誰かのマシンに着地し、そのマシンのIPアドレスを被って公衆インターネットへ出ていく。4つのカテゴリは、そのマシンの所有者と、どのネットワークに存在するかによって異なる。

• データセンタープロキシはクラウドインフラ上で動作する。出口IPはAWS、Azure、OVH、Hetzner、あるいはブカレストの格安VPSホストに属している。安価で、しばしば1GBあたり2ドルを下回り、IPあたりの定額制の場合もある。基盤ハードウェアがティア1ピアリング上にあるため高速だ。同時に識別は極めて容易だ。ボット対策システムはIPのASNを調べ、「HOSTING」と確認し、深夜3時にHetznerのラックからスニーカーストアを閲覧する実在の消費者はいないと判断する。
• レジデンシャルプロキシは実在の消費者向けブロードバンド接続を経由する。出口IPはComcast、Free、Deutsche Telekom、NTT、あるいは対象国の家庭向けインターネットを提供する事業者に属している。1GBあたり3ドルから15ドル。消費者向けアップリンクは遅いため速度は落ちるが、IPブロックをブロックすると同じブロックを共有する全ての実在の加入者もブロックすることになるため、ブロックは困難だ。
• モバイルプロキシは4Gまたは5Gキャリアを経由する。出口IPはVodafone、Verizon、Orange、あるいは数千台の実在するスマートフォンと共有される可能性のあるキャリアグレードNATプールに属している。最も高価なティアで、しばしば1GBあたり20ドル以上。最も遅い。同時に最も耐性が高い。モバイルキャリアは小さなIPプールを膨大な数の加入者間で再利用し、1つのモバイルIPをブロックすると、ボットを捕まえるよりもはるかに多くの正当なユーザーを罰することになる。
• ISPプロキシは2020年頃に出現したハイブリッド型だ。ハードウェアはデータセンター内にあり、高速性を維持するが、IP自体はComcast BusinessやAT&Tなどの実在のISPに割り当てられ、プロキシ運用者がリースまたはその他の方法で取得したものだ。ASNレベルではレジデンシャルに見え、性能はデータセンターのようだ。プレミアム価格で、供給は限定的だ。

ボット対策システムがプロキシと判断する方法

単一のテストは存在しない。現代のボット管理スタックは4つの信号ファミリーを組み合わせ、重み付けして判断する。

最初の信号はASN、自律システム番号だ。公衆インターネットの郵便番号と考えればよい。地球上の全てのIPブロックは組織に登録されており、その組織にはHOSTING、ISP、MOBILE、EDU、GOVなどのタグが付けられている。データセンタープロキシはHOSTING ASN上に存在し、そのラベルだけで通常はフラグが立つ。レジデンシャルプロキシとモバイルプロキシはそれぞれISPおよびMOBILE ASN上に存在し、それだけでは正当に見える。

2番目の信号は逆引きDNSだ。実在のComcastレジデンシャルIPは通常、c-73-148-22-1.hsd1.ca.comcast.netのように解決される。データセンターIPはec2-3-91-12-44.compute-1.amazonaws.comのように解決される。ボット対策ベンダーはパターンライブラリを維持している。

3番目の信号はIPレピュテーションスコアリングだ。IPQualityScore、MaxMind、IP2Proxyなどの商用データベースは、どのIPが最近オープンポートを実行したか、ハニーポットにヒットしたか、既知のターゲットをスクレイピングしたかを追跡し、そのスコアを購入希望者に販売する。Cloudflareのボット管理、Akamai Bot Manager、DataDome、HUMANは全てこれを判断に組み込んでおり、Cloudflare自身の「Bot Score」は2024年のロールアウト以来事実上の業界標準信号となっている。

4番目の信号は接続フィンガープリントだ。2024年に成熟したTLS JA4フィンガープリントにより、サーバーはどのクライアントライブラリがハンドシェイクを生成したかを識別できる。Pythonのrequestsセッションは、HTTPリクエストが送信される前から、ワイヤー上ではChromeブラウザとは全く異なる見た目をする。行動テレメトリ（マウスカーブ、スクロール速度、キーストロークタイミング）を加えれば、同じレジデンシャルIP上の実在の人間とヘッドレススクレイパーを区別できるスタックが完成する。

実用的な帰結は鋭い非対称性だ。データセンタープロキシは信号1で失敗し、そこで終わりだ。レジデンシャルとモバイルプロキシは信号1と2をクリーンに通過し、それが入場券となる。運用者が杜撰であれば、信号3と4で依然として失敗しうる。

レジデンシャルIPの実際の入手先

これはマーケティングページが宣伝しない部分だ。プロバイダが「3,000万のレジデンシャルIPを保有」と言っても、3,000万の家庭を所有しているわけではない。彼らはピアツーピアリレーネットワークを運営しており、出口ノードは、あらゆる方法で第三者のトラフィックを転送することに同意した実在の消費者デバイスだ。

歴史的な参照事例は、旧Luminati NetworksのBright Dataで、長年にわたりHola VPNの子会社だった。Holaは無料VPNで、その利用規約に注目すべき注釈があった。無料ティアの代償として、ユーザーは自宅の帯域幅がLuminatiの商用プロキシ顧客に転売されることに同意した。モデルは開示されていたが、開示は細則の奥深くにあり、ほとんどのユーザーは自宅のIPが他者によってeコマースサイトをスクレイピングするために使われていることを知らなかった。この取り決めは、2024年に和解に達した長期にわたる米国集団訴訟の対象となり、Bright Dataは現在のオプトインフローの正当性を擁護し続けている。

より広いパターンは業界全体で継続している。無料ユーティリティアプリ、VPN、アドブロッカー、モバイルゲーム、報酬アプリは、頻繁にSDKを同梱し、ユーザーが眠っている間にデバイスをレジデンシャルプロキシ出口に変える。開示が誠実な場合もあれば、埋もれている場合もあり、時にはSDKは正当な同意というよりアドウェアに近い。EFFや複数の学術グループがこのスペクトラムを文書化しており、教訓は一貫している。レジデンシャルプロキシの帯域幅を購入すると、通常は他者の家庭接続を支払っており、その他者がそれを理解しているかどうかは定かではない。

仕事に適したプロキシの選定

ほとんどの仕事で、自分が何をしているかを知っていれば正解は明らかだ。

• 協力的なサイトでのSEOと価格スクレイピング。 データセンターで十分で、それ以外は無駄金だ。
• スニーカードロップ、チケットキュー、eコマース在庫監視。 レジデンシャルが必須。ターゲットスタックは全てAkamaiやPerimeterX相当を実行しているためだ。
• 広告検証とブランドセーフティクロール。 モバイルが優先される。レンダリングされた広告は、キャリアレベルの地域情報を含め、実在のモバイルユーザーが見るものと一致する必要がある。
• no-KYC取引所や検閲されたニュースサイトの地理ブロック回避。 レジデンシャルが実用的な最低ライン。データセンターは玄関でブロックされる。モバイルも機能するが、不要な容量のプレミアムを支払うことになる。
• 調査、OSINT、脅威情報のためのKYC必須サイトのスクレイピング。 レジデンシャル。ログイン状態を維持する必要があればスティッキーセッション付き。

no-KYC暗号ユーザーが通常求めるのは、まさに1つのことだ。特定の国でのレジデンシャル出口で、取引の間安定したセッションを維持することだ。データセンターは通過しない。モバイルは過剰だ。ISPプロキシは、クリーンなサプライヤーが見つかれば興味深い中間地点だ。

ディレクトリにとってこれが変えるもの

プロキシ掲載は3軸で評価し、その順序は重要だ。

最初は供給側の透明性だ。レジデンシャルIPの入手先、出口ノードユーザーに対する同意フローの外観、チェーン内のサードパーティSDKについて、公開された平易な言葉での説明を求める。明確な回答を公開するプロバイダは満点を得る。マーケティングコピーで応えるプロバイダは減点される。確認できないプロバイダは、いかに安価であっても掲載に警告フラグが付く。

2番目はセッションコントロールだ。少なくとも10分間持続するスティッキーセッション、設定可能なローテーション、実際に機能する国・都市ターゲティング、証明書の再署名なしでのHTTPSのクリーンな処理。ログイン中にIPをローテートするプロキシは、プロキシがないよりも悪い。

3番目は1GBあたりの価格ではなく、成功したリクエストあたりの価格だ。Cloudflare保護のターゲットの半分で失敗する1GBあたり4ドルのレジデンシャルプロバイダは、実際には10回中9回成功する1GBあたり6ドルのプロバイダより高価だ。

生のIP数は全プロバイダのホームページに掲載される注目の数字だが、ほぼ無意味だ。不透明なサプライチェーンを横断する3,000万のエンドポイントは、文書化された同意を持つ200万のエンドポイントより劣る製品だ。我々はそれに応じて重み付けし、[abcproxy](/service/abcproxy)と[bitcoinproxy](/service/bitcoinproxy)の既存掲載もこの基準で評価されている。プロキシカテゴリの残りも、今年中に同じルーブリックで再評価される予定だ。

情報源

• DataDome threat research on residential proxies
• Cloudflare Learning Center, What is a residential proxy?
• Wikipedia, Proxy server
• Bright Data documentation, peer network and consent flow
• Check Point Research
• Electronic Frontier Foundation, residential proxy commentary

編集履歴

• 2024-09-12 : Cloudflare保護のターゲットリストに対して12のプロキシプロバイダを1週間テストした際のメモから初期ドラフトを作成。保護対象サブセットでのデータセンター通過率は9パーセント未満、レジデンシャルは71パーセント、モバイルは94パーセントと測定。ユースケースセクションの根拠として使用。
• 2024-09-29 : 元Luminatiエンジニアとの長電話で、和解前のHola同意フローを詳しく聞いた後、供給側セクションを書き直し。2024年集団訴訟周辺の法的言葉を厳密化。
• 2024-10-08 : John Althouseの更新されたフィンガープリント調査が話題になった後、TLS JA4の段落を追加。書いてから2カ月以内に時代遅れになったJA3に関する以前の段落を削除。
• 2024-10-21 : 編集者が、確認できないプロバイダに対して甘すぎると読める元の結論に反論。ディレクトリ判決を書き直し、供給側透明性要件を明確にし、既存掲載の再評価を約束。
• 2024-10-30 : リズムと長さの最終調整。冒頭で同じ役割を果たしていた3つの修辞的疑問を削除し、ISPプロキシとモバイルプロキシの段落をユースケースセクションで統合し、箇条書きリストが長くなりすぎるのを防ぐ。