住宅代理还是机房代理?反爬虫攻防里的IP生死局
代理IP江湖暗藏四类门派,反爬虫系统如何一眼识破它们的底细?从住宅代理到数据中心IP,溯源它们的真实出身,拆解不同场景下的性价比密码--这份供给侧透明度指南,帮你避开选型的暗礁。
The Editors
Editorial desk
被地理封锁的研究者面临的分岔路口
你坐在里斯本的一家咖啡馆里,试图登录六个月前在另一个国家用过的 no-KYC 交易所,首页却返回一份措辞礼貌的法律通知,而非登录表单。你知道代理能绕过这个限制。打开三个提供商的浏览器标签页,十秒钟内便淹没在"机房""住宅""移动""ISP"的定价层级里,每千兆字节从两美分到十二美元不等。这个技术分岔真实存在,且至关重要。选错类别,要么把钱浪费在不需要的带宽上,要么点击"登录"的瞬间撞上 CAPTCHA 高墙。选对类别,你甚至不会察觉代理的存在。
本文是一篇入门指南,涵盖四种代理类别、反爬虫系统如何区分它们、IP 的真实来源,以及各自适合什么任务。文末会明确表达本目录对代理列表的评级立场,这一立场直接源于中间部分的技术事实。
四个类别,直白地说
代理即中继。流量从你的设备出发,落到别人的设备上,再以该设备的 IP 地址身份进入公共互联网。四个类别的区别在于谁拥有那台设备,以及它位于哪个网络。
- 机房代理运行在云基础设施上。出口 IP 属于 AWS、Azure、OVH、Hetzner,或者布加勒斯特某家廉价 VPS 主机商。它们便宜,通常每千兆字节不到两美元,有时按 IP flat-rate 计费,速度也快,因为底层硬件位于一级对等互联网络上。但极易被识别:反爬虫系统查询该 IP 的 ASN,看到"HOSTING"标签即可判断,没有真实消费者会在凌晨三点从 Hetzner 机架浏览球鞋商店。
- 住宅代理通过真实的消费者宽带连接路由。出口 IP 属于 Comcast、Free、Deutsche Telekom、NTT,或相关国家的其他家庭互联网服务商。每千兆字节三到十五美元。速度较慢,因为家庭上行带宽有限。更难被封禁,因为封禁整个 IP 段会误伤同一段内的所有真实用户。
- 移动代理通过 4G 或 5G 运营商路由。出口 IP 属于 Vodafone、Verizon、Orange,或一个可能与数千台真实手机共享的运营商级 NAT 池。这是最贵的层级,通常每千兆字节二十美元以上,也是最慢的。但韧性最强,因为移动运营商在大量用户间复用少量 IP 池,封禁一个移动 IP 对合法用户的误伤远大于对爬虫的捕获。
- ISP 代理是 2020 年左右出现的混合形态。硬件位于机房,保持高速;但 IP 本身是发放给真实 ISP(如 Comcast Business 或 AT&T)后被代理运营商租用或以其他方式获取的。ASN 层面看似住宅,性能却像机房。价格高端,供应有限。
反爬虫系统如何判断你是代理
没有单一测试。现代机器人管理栈结合四类信号,加权综合判断。
第一类信号是 ASN,自治系统编号。可将其理解为公共互联网的邮政编码。地球上每个 IP 段都注册给某个组织,该组织被标记为 HOSTING、ISP、MOBILE、EDU、GOV 等。机房代理位于 HOSTING ASN,仅凭这个标签通常就足以标记它们。住宅和移动代理分别位于 ISP 和 MOBILE ASN,单看这一点是合法的。
第二类信号是反向 DNS。真实的 Comcast 住宅 IP 通常解析为类似 c-73-148-22-1.hsd1.ca.comcast.net 的地址。机房 IP 则解析为类似 ec2-3-91-12-44.compute-1.amazonaws.com 的地址。反爬虫厂商维护着模式库。
第三类信号是 IP 信誉评分。IPQualityScore、MaxMind、IP2Proxy 等商业数据库追踪哪些 IP 近期被发现开放端口、触碰蜜罐或抓取已知目标,并将评分出售给任何愿意购买的人。Cloudflare 的机器人管理、Akamai Bot Manager、DataDome 和 HUMAN 都将其纳入决策,而 Cloudflare 自 2024 年推出的"Bot Score"已成为事实上的行业信号。
第四类信号是连接指纹。TLS JA4 指纹技术于 2024 年成熟,让服务器能在发送任何 HTTP 请求之前,识别是哪个客户端库生成了握手。Python requests 会话在传输层看起来与 Chrome 浏览器完全不同。再加上行为遥测(鼠标轨迹、滚动速度、按键间隔),这套栈可以区分真实人类使用住宅 IP 与无头爬虫使用同一住宅 IP。
实际后果是一种尖锐的不对称。机房代理在信号一就失败,出局。住宅和移动代理干净通过信号一和信号二,获得入场券。如果运营商 sloppy,仍可能在信号三和信号四上落败。
住宅 IP 的真实来源
这是营销页面不会宣传的部分。当一家提供商说"我们有三千万住宅 IP"时,他们并不拥有三千万个家庭。他们运营的是点对点中继网络,出口节点是以某种方式同意转发第三方流量的普通消费者设备。
历史参照案例是 Bright Data,前身为 Luminati Networks,多年来是 Hola VPN 的子公司。Hola 是一款免费 VPN,其服务条款中有一个值得注意的脚注:作为免费层级的交换,用户同意将其带宽转售给 Luminati 的商业代理客户。该模式是披露的,但披露深埋在细则中,大多数用户根本不知道自己的家庭 IP 被他人用来抓取电商网站。这一安排是一场旷日持久的美国集体诉讼的主题,于 2024 年达成和解,Bright Data 继续为其当前 opt-in 流程的合法性辩护。
这一模式在整个行业持续存在。免费工具应用、VPN、广告拦截器、手机游戏和奖励应用经常捆绑 SDK,在用户睡觉时将其设备变成住宅代理出口。有时披露是诚实的,有时深埋,偶尔 SDK 更接近广告软件而非合法同意。EFF 和多个学术团体记录了这一光谱,结论一致:当你购买住宅代理带宽时,你通常是在为别人的家庭连接付费,而那个"别人"可能理解也可能不理解这一点。
为任务匹配代理
对大多数任务来说,一旦你知道自己在做什么,正确答案显而易见。
- SEO 和对友好网站的价格抓取。 机房代理足够,其他都是浪费钱。
- 球鞋抢购、票务排队、电商库存监控。 住宅代理是必需的,因为目标站点全部运行 Akamai 或 PerimeterX 等价的栈。
- 广告验证和品牌安全爬取。 移动代理更受青睐,因为渲染的广告需要匹配真实移动用户看到的画面,包括运营商级别的地理位置。
- 为 no-KYC 交易所或被审查的新闻网站进行地理绕过。 住宅代理是实际底线。机房代理会在前门就被封禁。移动代理可用,但你为不需要的容量支付了溢价。
- 为研究、OSINT、威胁情报抓取需要 KYC 的站点。 住宅代理,如需保持登录状态则使用粘性会话。
no-KYC 加密用户通常只需要一样东西:特定国家的住宅出口,在交易持续期间保持稳定的会话。机房代理通不过。移动代理过度配置。如果能找到干净的供应商,ISP 代理是一个有趣的中间地带。
这对目录意味着什么
我们从三个维度对代理列表进行评级,顺序很重要。
第一是供给侧透明度。我们希望看到公开、通俗易懂的说明,解释住宅 IP 的来源、出口节点用户的同意流程是什么样的、链中有哪些第三方 SDK。公开明确答复的提供商得满分。用营销文案回应的降级。完全无法核实的提供商,无论多便宜,列表上都会打上警告标志。
第二是会话控制。至少持续十分钟的粘性会话、可配置的轮换、实际有效的国家和城市定向、以及不重新签名证书就能干净处理 HTTPS。登录中途轮换 IP 的代理比没有代理更糟。
第三是每次成功请求的成本,而非每千兆字节价格。一家报价每千兆字节四美元但在半数 Cloudflare 保护目标上失败的住宅提供商,实际成本高于一家六美元但十次能成功九次的提供商。
原始 IP 数量是每个提供商首页的标题数字,但它几乎毫无意义。三千万个端点分布在模糊的供应链上,是两百万个有文件记录同意的端点的更差产品。我们相应加权,现有 [abcproxy](/service/abcproxy) 和 [bitcoinproxy](/service/bitcoinproxy) 的列表即按此标准评分。预计今年内其余代理类别都将按同一标准重新评级。
来源
- DataDome 关于住宅代理的威胁研究
- Cloudflare 学习中心,什么是住宅代理?
- 维基百科,代理服务器
- Bright Data 文档,对等网络与同意流程
- Check Point Research
- 电子前沿基金会,住宅代理评论
编辑日志
- 2024-09-12 : 根据一周内测试十二家代理提供商对抗 Cloudflare 保护目标列表的笔记整理初稿。机房代理在保护子集上的通过率低于 9%,住宅代理 71%,移动代理 94%。数据用于锚定用例部分。
- 2024-09-29 : 与一位前 Luminati 工程师的长电话后重写供给侧部分,对方详细讲解了和解前 Hola 的同意流程。收紧了关于 2024 年集体诉讼的法律表述。
- 2024-10-08 : 在 John Althouse 的更新指纹研究流传开后添加 TLS JA4 段落。删除了一个关于 JA3 的早期段落,该段落在写成后两个月内就已过时。
- 2024-10-21 : 编辑对原结尾提出异议,认为对无法核实的提供商过于温和。重写目录裁决,明确供给侧透明度要求,并承诺重新评级现有列表。
- 2024-10-30 : 最终润色节奏和长度。删减开头三个功能重复的修辞问句,合并用例部分中 ISP 代理和移动代理的段落,防止项目列表过长。
浏览目录
找到满足你需求的免 KYC 服务。
更多文章
调查报道
无KYC钱包硬配瑞士IBAN:四条可行路径,一道法律铁壁
OffChain 声称其无 KYC 网状钱包已打通瑞士 IBAN,支持 EUR/CHF/USD 按需兑换、借记卡及双向 SEPA/SWIFT,且全程"完全离线"。我们拆解了四种可能的技术路径,其中一种恰被瑞士反身份识别法规牢牢锁死。
阅读文章
监管
美国持牌稳定币发行商今夜大限:FinCEN与OFAC新规倒计时,USDC、PYUSD首当其冲
FinCEN与OFAC依据GENIUS法案联手推出的《许可支付稳定币发行商》监管框架,今日午夜正式结束公众评议。USDC、PYUSD等美元稳定币被明确纳入五项合规义务,而自托管入金渠道的命运或将就此改写。
阅读文章
Profile
蜜罐泄露后,加密犯罪调查的生存法则变了
2026年,追踪加密网络犯罪的调查记者正面对一个全新的对手:IDMerit、Sumsub和陈智案接连曝光后,有组织犯罪集团已能批量购买身份、绕过KYC、渗透整个金融链条。本文是一份实战威胁模型--从工具清单到完整跟拍流程,记录记者如何在24小时内与这个隐形 adversary 周旋。
阅读文章