代理池
代理池是供任务选择使用的一组代理资源;在工程讨论中,也常连同资源筛选、可用性检查和停用规则一起描述。池的规模必须说明统计对象与时间窗口。
先明确池里装的是什么
入口列表、历史出现过的出口、当前可以分配的出口,是不同集合。一个入口可能通向多个出口,多条返回记录也可能指向同一出口。没有说清口径时,不能把记录条数当作实时可用 IP 数。
举一个纯计算例子:某窗口收到 100 条出口观测,其中有 20 个不同地址,那么记录数是 100,窗口去重地址数是 20。这个计算仍没有证明 20 个地址都能完成某个特定任务,更不是行业性能数据。
代理池不等于连接池
代理池选择使用哪个中间资源;HTTP 客户端连接池保留已经建立的连接供复用。HTTPX 文档里的连接池上限控制的是连接,而不是供应商的 IP 库存。一个程序可以同时使用两种池,但两者大小不能直接换算。
按地区或协议筛选资源时,筛选后的可用集合也可能小于总集合。是否足够,取决于当前任务条件下能取得多少有效结果,而不只看宣传中的总量。
不同错误不要用同一种淘汰动作
407 指向代理认证,429 指向请求过多;它们都不能直接证明某个 IP 物理失效。先保留错误原因,再决定修正配置、降低负载或暂停资源。所有重试要计入请求预算,不能为了提高表面成功率而无限追加尝试。
延伸阅读
参考资料
- HTTPX: Clients
- HTTPX: Resource Limits
- MDN: 407 Proxy Authentication Required
- MDN: 429 Too Many Requests
资料核验于2026年11月19日。文中情境和数值示例用于解释概念,不是代理产品实测结果。
常见问题
池里 IP 多,并发就一定高吗?
不一定。地址数量与允许的同时连接数、请求数是不同指标。
提取 100 次就拿到了 100 个不同 IP 吗?
不一定。应按实际观察到的出口去重,并注明时间窗口。
出现 429 就应把这个 IP 删除吗?
不能直接这样判断。先确认谁在限流以及限流范围,再降低符合授权要求的工作负载。