摘要：先把供应商提供的资源池总量拆成可取量、有效量、定向命中量和持续补充量，再测试请求频率、带宽、并发与异常恢复。真正影响大规模任务的不是“池子多大”，而是目标负载下每小时能稳定交付多少有效结果。
很多团队选代理时，第一眼先看资源池有几百万、覆盖多少地区。这个数字确实重要，却很容易制造一种错觉：只要总量够大，把并发拉起来，任务就能线性扩容。
现实往往没这么顺。资源池可能很大，指定城市在当前时间段却没有足够可用节点；账户写着支持高并发，实际瓶颈可能落在请求频率、出口带宽或目标端响应。核对容量时，必须把“有多少资源”和“单位时间能交付多少结果”分开算。
为什么资源池总量不能直接代表任务容量？
资源池总量只能描述静态规模，不能回答每小时能拿到多少有效、非重复且符合地区要求的出口。
假设供应商披露拥有数百万个IP，这些资源未必同时在线，也未必都能按当前套餐提取。经过地区筛选、运营商筛选、可用性检查和去重后，真正进入任务的数量可能明显减少。
大规模采集至少要区分三种容量：
- 资源容量：符合地区、运营商和产品类型要求的可用出口数量。
- 传输容量：账户在单位时间内允许发起的请求数、连接数和数据量。
- 业务容量：扣除超时、重试、无效响应和解析失败后，最终产生的有效结果数。
采购时如果只问资源池总量，相当于只知道仓库面积，却不知道每天能出多少货、补货多快、装卸口能同时开几个。
资源供给应该核对哪几本账？
建议把资源供给拆成四本账：可取、可用、定向命中和持续补充。
| 核对维度 | 真正要问的问题 | 建议记录的指标 |
|---|---|---|
| 可取资源 | 当前套餐和接口实际能返回多少资源？ | 每小时提取量、唯一IP数、重复率 |
| 可用资源 | 返回的资源有多少能够完成代理连接？ | 代理连接可用率、超时率、握手耗时 |
| 定向命中 | 指定国家、城市或运营商后还剩多少？ | 地域命中率、运营商命中率、缺货时段 |
| 持续补充 | 连续运行后是否能补进新资源？ | 每小时新增IP数、跨时段重复率、资源衰减速度 |
这四本账需要按时间窗口观察。只测十分钟，很可能碰巧拿到一批状态较好的节点；连续运行数小时，才能看到重复率是否持续上升、指定地区是否在某些时段变得紧张。
如果任务横跨多个地区，还要分别记录各地区结果。全国总量充足，不代表每个城市都能得到相近的供给；全球资源充足，也不代表小众地区在高峰期仍有稳定库存。
容量边界应该怎么算？
容量上限取决于整条链路中最窄的一段，而不是供应商页面上最大的那个并发数字。
可以先用下面的关系做估算：
有效吞吐上限 ≈ 供应商请求频率、账户并发、出口带宽、本地任务处理能力、目标端响应能力中的最小值
例如，账户允许较高并发，但出口带宽较小，采集较大的页面时就会先碰到传输瓶颈。相反，如果单页很小，限制更可能来自每秒请求数、连接建立速度或目标端响应。
压测时至少记录五项指标：
- 有效完成速率：每秒或每分钟成功进入后续处理的任务数。
- P95响应时间：高负载下，大部分请求需要等待多久。
- 重试放大系数：完成一个有效结果平均需要发出多少次请求。
- 异常响应占比：分别记录超时、429和5xx，不能只看总失败率。
- 实际流量消耗：包含响应体、失败请求与重试产生的流量。
其中，有效完成速率最接近业务需要。名义请求速率很高，如果重试不断增加，最终交付能力未必同步增长。
怎样用一轮压测找到真实边界？
不要一开始就把并发拉满，应该按基线、爬坡、稳态和恢复四个阶段逐步测试。
| 阶段 | 负载方式 | 建议持续时间 | 主要观察点 | 下一步判断 |
|---|---|---|---|---|
| 基线 | 使用预计负载的较低比例 | 10—15分钟 | 地域命中、可用率、P95 | 确认基础链路正常 |
| 爬坡 | 每轮提高一档并发或请求频率 | 每档10—20分钟 | 吞吐是否线性增长 | 找到收益开始下降的位置 |
| 稳态 | 在目标负载附近持续运行 | 2小时以上 | 重复率、重试量、流量和资源衰减 | 判断是否可长期维持 |
| 恢复 | 模拟节点失效和连接中断 | 持续记录恢复过程 | 自动切换时间、任务积压量 | 核对异常恢复能力 |
压测期间，每次只调整一个变量。第一轮固定超时和重试，只提高并发；第二轮固定并发，再调整请求频率。否则吞吐提高后，很难判断究竟是资源供给、并发还是重试策略起了作用。
测试结果也不要只留一张“成功率”截图。至少保留时间、地区、任务量、并发、超时、重试次数、唯一IP数、P95和有效结果数，方便技术与采购使用同一份记录讨论容量。
采购时如何根据结果做决定？
把供给和容量分成两条验收线，能够减少“测试能用、上线不够用”的情况。
可以使用下面的决策矩阵：
| 资源供给 | 容量表现 | 采购判断 |
|---|---|---|
| 达标 | 达标 | 进入套餐、成本和服务条款评估 |
| 达标 | 不达标 | 核对请求频率、带宽或账户并发限制 |
| 不达标 | 达标 | 不适合地域敏感或长周期轮换任务 |
| 不达标 | 不达标 | 暂不进入正式采购阶段 |
验收阈值应在测试前根据业务目标确定，而不是跑完以后再挑一个好看的指标。例如，计划每小时处理十万条任务，就要围绕这一目标设定有效完成速率、P95、资源重复率和恢复时间。
最终采购量还应保留一定余量。日常负载已经长期贴着容量上限运行，一旦出现任务集中、目标端变慢或资源供给波动，队列就容易快速积压。更稳妥的做法是让正常负载处在已验证容量以内，并为高峰任务准备扩容或分批执行方案。
所有测试都应限定在公开、授权、合规的数据处理场景，并遵守目标服务的访问规则。代理资源解决的是网络出口与任务调度问题，不替代数据授权、频率控制和合规审查。
关于资源供给与容量，还有哪些常见问题？
Q：代理IP总量是不是越大越好？
不一定，关键是与你的地区、时间窗口和任务节奏是否匹配。 如果任务只需要少数指定城市，全球或全国总量再大，也不能替代这些城市的实时可用量。总量适合初筛，定向命中和持续补充才决定实际适配度。
Q：日更新量高，是否意味着重复率一定低？
不能直接画等号。 更新量是供应侧口径，重复率还受到套餐范围、提取方式、地区筛选和任务运行时间影响。应该连续记录每个时间窗口的唯一IP与新增IP，再计算跨窗口重复情况。
Q：短效代理和隧道代理哪个更适合大规模任务？
取决于任务更需要控制IP使用周期，还是需要统一入口自动切换。 前者适合按批次提取并自行管理资源，后者更适合持续请求和减少本地代理池维护。选择依据不是名称，而是调度方式与任务架构。
Q：免费测试能不能测出容量边界？
可以完成初步验证，但要先确认测试账户与正式套餐的限制是否一致。 如果试用账户在请求频率、带宽、地区库存或提取数量上单独限额，测试结果只能说明接入可行，不能直接推算正式容量。
Q：压测多长时间才有参考价值？
接入检查十几分钟即可，供给与稳定容量通常需要跨多个时间窗口观察。 建议至少包含一次持续运行和一次高峰时段测试；对于长期任务，还应比较不同日期的新增资源、重复率和有效吞吐变化。
