跳至内容
指南 2024年10月31日 ·9 分钟阅读

住宅代理还是机房代理?反爬虫攻防里的IP生死局

代理IP江湖暗藏四类门派,反爬虫系统如何一眼识破它们的底细?从住宅代理到数据中心IP,溯源它们的真实出身,拆解不同场景下的性价比密码--这份供给侧透明度指南,帮你避开选型的暗礁。

TE

The Editors

Editorial desk

被地理封锁的研究者面临的分岔路口

你坐在里斯本的一家咖啡馆里,试图登录六个月前在另一个国家用过的 no-KYC 交易所,首页却返回一份措辞礼貌的法律通知,而非登录表单。你知道代理能绕过这个限制。打开三个提供商的浏览器标签页,十秒钟内便淹没在"机房""住宅""移动""ISP"的定价层级里,每千兆字节从两美分到十二美元不等。这个技术分岔真实存在,且至关重要。选错类别,要么把钱浪费在不需要的带宽上,要么点击"登录"的瞬间撞上 CAPTCHA 高墙。选对类别,你甚至不会察觉代理的存在。

本文是一篇入门指南,涵盖四种代理类别、反爬虫系统如何区分它们、IP 的真实来源,以及各自适合什么任务。文末会明确表达本目录对代理列表的评级立场,这一立场直接源于中间部分的技术事实。

四个类别,直白地说

代理即中继。流量从你的设备出发,落到别人的设备上,再以该设备的 IP 地址身份进入公共互联网。四个类别的区别在于谁拥有那台设备,以及它位于哪个网络。

  • 机房代理运行在云基础设施上。出口 IP 属于 AWS、Azure、OVH、Hetzner,或者布加勒斯特某家廉价 VPS 主机商。它们便宜,通常每千兆字节不到两美元,有时按 IP flat-rate 计费,速度也快,因为底层硬件位于一级对等互联网络上。但极易被识别:反爬虫系统查询该 IP 的 ASN,看到"HOSTING"标签即可判断,没有真实消费者会在凌晨三点从 Hetzner 机架浏览球鞋商店。
  • 住宅代理通过真实的消费者宽带连接路由。出口 IP 属于 Comcast、Free、Deutsche Telekom、NTT,或相关国家的其他家庭互联网服务商。每千兆字节三到十五美元。速度较慢,因为家庭上行带宽有限。更难被封禁,因为封禁整个 IP 段会误伤同一段内的所有真实用户。
  • 移动代理通过 4G 或 5G 运营商路由。出口 IP 属于 Vodafone、Verizon、Orange,或一个可能与数千台真实手机共享的运营商级 NAT 池。这是最贵的层级,通常每千兆字节二十美元以上,也是最慢的。但韧性最强,因为移动运营商在大量用户间复用少量 IP 池,封禁一个移动 IP 对合法用户的误伤远大于对爬虫的捕获。
  • ISP 代理是 2020 年左右出现的混合形态。硬件位于机房,保持高速;但 IP 本身是发放给真实 ISP(如 Comcast Business 或 AT&T)后被代理运营商租用或以其他方式获取的。ASN 层面看似住宅,性能却像机房。价格高端,供应有限。

反爬虫系统如何判断你是代理

没有单一测试。现代机器人管理栈结合四类信号,加权综合判断。

第一类信号是 ASN,自治系统编号。可将其理解为公共互联网的邮政编码。地球上每个 IP 段都注册给某个组织,该组织被标记为 HOSTING、ISP、MOBILE、EDU、GOV 等。机房代理位于 HOSTING ASN,仅凭这个标签通常就足以标记它们。住宅和移动代理分别位于 ISP 和 MOBILE ASN,单看这一点是合法的。

第二类信号是反向 DNS。真实的 Comcast 住宅 IP 通常解析为类似 c-73-148-22-1.hsd1.ca.comcast.net 的地址。机房 IP 则解析为类似 ec2-3-91-12-44.compute-1.amazonaws.com 的地址。反爬虫厂商维护着模式库。

第三类信号是 IP 信誉评分。IPQualityScore、MaxMind、IP2Proxy 等商业数据库追踪哪些 IP 近期被发现开放端口、触碰蜜罐或抓取已知目标,并将评分出售给任何愿意购买的人。Cloudflare 的机器人管理、Akamai Bot Manager、DataDome 和 HUMAN 都将其纳入决策,而 Cloudflare 自 2024 年推出的"Bot Score"已成为事实上的行业信号。

第四类信号是连接指纹。TLS JA4 指纹技术于 2024 年成熟,让服务器能在发送任何 HTTP 请求之前,识别是哪个客户端库生成了握手。Python requests 会话在传输层看起来与 Chrome 浏览器完全不同。再加上行为遥测(鼠标轨迹、滚动速度、按键间隔),这套栈可以区分真实人类使用住宅 IP 与无头爬虫使用同一住宅 IP。

实际后果是一种尖锐的不对称。机房代理在信号一就失败,出局。住宅和移动代理干净通过信号一和信号二,获得入场券。如果运营商 sloppy,仍可能在信号三和信号四上落败。

住宅 IP 的真实来源

这是营销页面不会宣传的部分。当一家提供商说"我们有三千万住宅 IP"时,他们并不拥有三千万个家庭。他们运营的是点对点中继网络,出口节点是以某种方式同意转发第三方流量的普通消费者设备。

历史参照案例是 Bright Data,前身为 Luminati Networks,多年来是 Hola VPN 的子公司。Hola 是一款免费 VPN,其服务条款中有一个值得注意的脚注:作为免费层级的交换,用户同意将其带宽转售给 Luminati 的商业代理客户。该模式是披露的,但披露深埋在细则中,大多数用户根本不知道自己的家庭 IP 被他人用来抓取电商网站。这一安排是一场旷日持久的美国集体诉讼的主题,于 2024 年达成和解,Bright Data 继续为其当前 opt-in 流程的合法性辩护。

这一模式在整个行业持续存在。免费工具应用、VPN、广告拦截器、手机游戏和奖励应用经常捆绑 SDK,在用户睡觉时将其设备变成住宅代理出口。有时披露是诚实的,有时深埋,偶尔 SDK 更接近广告软件而非合法同意。EFF 和多个学术团体记录了这一光谱,结论一致:当你购买住宅代理带宽时,你通常是在为别人的家庭连接付费,而那个"别人"可能理解也可能不理解这一点。

为任务匹配代理

对大多数任务来说,一旦你知道自己在做什么,正确答案显而易见。

  • SEO 和对友好网站的价格抓取。 机房代理足够,其他都是浪费钱。
  • 球鞋抢购、票务排队、电商库存监控。 住宅代理是必需的,因为目标站点全部运行 Akamai 或 PerimeterX 等价的栈。
  • 广告验证和品牌安全爬取。 移动代理更受青睐,因为渲染的广告需要匹配真实移动用户看到的画面,包括运营商级别的地理位置。
  • 为 no-KYC 交易所或被审查的新闻网站进行地理绕过。 住宅代理是实际底线。机房代理会在前门就被封禁。移动代理可用,但你为不需要的容量支付了溢价。
  • 为研究、OSINT、威胁情报抓取需要 KYC 的站点。 住宅代理,如需保持登录状态则使用粘性会话。

no-KYC 加密用户通常只需要一样东西:特定国家的住宅出口,在交易持续期间保持稳定的会话。机房代理通不过。移动代理过度配置。如果能找到干净的供应商,ISP 代理是一个有趣的中间地带。

这对目录意味着什么

我们从三个维度对代理列表进行评级,顺序很重要。

第一是供给侧透明度。我们希望看到公开、通俗易懂的说明,解释住宅 IP 的来源、出口节点用户的同意流程是什么样的、链中有哪些第三方 SDK。公开明确答复的提供商得满分。用营销文案回应的降级。完全无法核实的提供商,无论多便宜,列表上都会打上警告标志。

第二是会话控制。至少持续十分钟的粘性会话、可配置的轮换、实际有效的国家和城市定向、以及不重新签名证书就能干净处理 HTTPS。登录中途轮换 IP 的代理比没有代理更糟。

第三是每次成功请求的成本,而非每千兆字节价格。一家报价每千兆字节四美元但在半数 Cloudflare 保护目标上失败的住宅提供商,实际成本高于一家六美元但十次能成功九次的提供商。

原始 IP 数量是每个提供商首页的标题数字,但它几乎毫无意义。三千万个端点分布在模糊的供应链上,是两百万个有文件记录同意的端点的更差产品。我们相应加权,现有 [abcproxy](/service/abcproxy) 和 [bitcoinproxy](/service/bitcoinproxy) 的列表即按此标准评分。预计今年内其余代理类别都将按同一标准重新评级。

来源

编辑日志

  • 2024-09-12 : 根据一周内测试十二家代理提供商对抗 Cloudflare 保护目标列表的笔记整理初稿。机房代理在保护子集上的通过率低于 9%,住宅代理 71%,移动代理 94%。数据用于锚定用例部分。
  • 2024-09-29 : 与一位前 Luminati 工程师的长电话后重写供给侧部分,对方详细讲解了和解前 Hola 的同意流程。收紧了关于 2024 年集体诉讼的法律表述。
  • 2024-10-08 : 在 John Althouse 的更新指纹研究流传开后添加 TLS JA4 段落。删除了一个关于 JA3 的早期段落,该段落在写成后两个月内就已过时。
  • 2024-10-21 : 编辑对原结尾提出异议,认为对无法核实的提供商过于温和。重写目录裁决,明确供给侧透明度要求,并承诺重新评级现有列表。
  • 2024-10-30 : 最终润色节奏和长度。删减开头三个功能重复的修辞问句,合并用例部分中 ISP 代理和移动代理的段落,防止项目列表过长。

浏览目录

找到满足你需求的免 KYC 服务。

打开目录

更多文章