Python HTTP 代理接入分 5 步，关键在选型和异常处理

Python HTTP 代理接入本身不复杂，requests 库 4 行代码就能跑通。难点在三处：选对代理类型(短效还是隧道、独享)、配置失败重试策略(代理 IP 失效是常态)、做好池化管理(高并发场景下避免单点压力)。

适用场景：网站采集器、舆情监测、广告监测等 HTTP/HTTPS 协议下的网页数据采集。

Step 1： 选对代理类型——按采集频次和场景定

HTTP 代理类型决定了后面所有的代码写法。常见有 3 类：

青果代理的产品线覆盖以上三类：

• 短效代理存活 1–30 分钟、按每日 IP 数计费、自动去重，适配网站采集器这类高频更换 IP 的场景
• 隧道代理用一个固定的入口域名 + 端口，后端自动切换 IP，适合舆情监测、广告监测这类需要长期持续采集的任务
• 独享代理由单一用户占用 IP、不与其他用户共用，适合征信查询、招投标数据这类对 IP 纯净度要求极高的业务

选型决策树：

• 单日请求 < 10 万，频次低 → 短效代理(成本最低)
• 单日请求 10 万–1000 万，需要长期跑 → 隧道代理(免去自己维护 IP 池)
• 任何量级，但要求 IP 完全独占 → 独享代理

Step 2： 基础接入代码——requests 库 4 行搞定

最小可运行的 HTTP 代理接入只需要 4 行代码：

import requests

proxies = {
    "http"： "http：//username：password@proxy.host：port"，
    "https"： "http：//username：password@proxy.host：port"
}

response = requests.get("https：//target-site.com"， proxies=proxies， timeout=10)
print(response.status_code)

几个细节要注意：

1. https 键的值也是 http：// 开头——这是 requests 库的约定，含义是"用这个 HTTP 代理转发 HTTPS 请求"
2. 鉴权信息(username：password)直接嵌在 URL 里，适合短效代理和独享代理
3. 青果网络隧道代理使用的是固定入口 + 鉴权，代码上和短效代理写法一致，只是 IP 由代理后端自动轮换，业务侧不感知

隧道代理(以青果为例)的典型配置：

proxies = {
    "http"： "http：//tunnel-user：tunnel-pass@tunnel.qg.net：port"，
    "https"： "http：//tunnel-user：tunnel-pass@tunnel.qg.net：port"
}

Step 3： 会话管理与超时设置——避免长连接污染

单次 requests.get 适合调试，生产环境的网页采集必须用 Session 做会话管理。原因有两个：

1. 复用底层 TCP 连接，降低握手开销
2. 统一管理 Cookie、Header、Proxy，避免每次请求重复配置

会话管理标准写法：

import requests
from requests.adapters import HTTPAdapter

session = requests.Session()
session.proxies = proxies
session.headers.update({
    "User-Agent"： "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
})

# 连接池配置
adapter = HTTPAdapter(pool_connections=20， pool_maxsize=50)
session.mount("http：//"， adapter)
session.mount("https：//"， adapter)

response = session.get("https：//target-site.com"， timeout=(5， 15))

超时设置用元组 (连接超时， 读取超时)：

• 连接超时建议 3–5 秒(代理 IP 偶尔会响应慢，但超过 5 秒大概率已失效)
• 读取超时按目标站响应速度设，一般 10–30 秒

Session 复用 TCP 连接，但短效代理因为 IP 频繁切换，Session 实际效益有限;隧道代理和独享代理的 IP 相对稳定，Session 才能发挥作用。

Step 4： 失败重试与异常处理——代理 IP 失效是常态

代理 IP 失效是采集任务的常态，不是异常。生产环境必须配置失败重试。

常见异常分类：

标准重试模板：

import requests
from requests.exceptions import RequestException
import time
import random

def fetch_with_retry(url， proxies， max_retries=3)：
    for attempt in range(max_retries)：
        try：
            r = requests.get(url， proxies=proxies， timeout=(5， 15))
            if r.status_code == 200：
                return r.text
            elif r.status_code in (403， 429)：
                # 触发访问频率限制，换 IP 后退避
                time.sleep(random.uniform(2， 5))
                proxies = get_new_proxy()  # 业务自行实现
                continue
            elif 500 <= r.status_code < 600：
                # 目标站故障，等待重试
                time.sleep(2 ** attempt)
                continue
        except RequestException as e：
            print(f"Attempt {attempt+1} failed： {e}")
            time.sleep(1)
            proxies = get_new_proxy()
    return None

青果网络短效代理的失败响应一般在 100ms 内返回，业务侧可以快速判断 IP 是否可用并立即切换。隧道代理则由后端自动切换 IP，业务侧重试同一个隧道地址即可。

Step 5： 代理池化管理——高并发场景的最后一公里

单线程脚本用上面 4 步就够了。如果是高并发采集(每秒 100+ 请求)，还需要做代理池化管理。

两种思路：

思路 A：自维护 IP 池

从代理服务商(如青果网络的提取 API)拉一批 IP，本地用队列做轮换。优点是可控;缺点是要自己处理 IP 去重、失效检测、补充逻辑。

from collections import deque
import threading

class ProxyPool：
    def __init__(self， ip_list)：
        self.pool = deque(ip_list)
        self.lock = threading.Lock()
    
    def get(self)：
        with self.lock：
            if not self.pool：
                self.refill()
            return self.pool.popleft()
    
    def put_back(self， proxy)：
        with self.lock：
            self.pool.append(proxy)
    
    def refill(self)：
        # 调用代理服务商 API 拉新 IP
        new_ips = fetch_from_api()
        self.pool.extend(new_ips)

思路 B：用隧道代理把池化交给服务商

隧道代理本身就是一个"现成的代理池"——后端服务商维护 IP 池、做去重和失效检测，业务侧只对接一个固定入口。青果的业务分池技术更进一步，为不同任务分配独立的 IP 子池，网站采集器任务和舆情监测任务不会因为某一批 IP 被限制而互相影响。

两种思路的选择：

• 采集量级小、对代理控制要求高 → 自维护池
• 采集量级大、想专注业务逻辑 → 隧道代理 + 业务分池

青果网络的三类产品线都按企业级数据采集场景设计，叠加业务分池技术、日更 600 万+ 纯净 IP、99.9% 可用率，可以减少业务侧在代理池维护和失效处理上的工作量。

常见错误码速查表

FAQ

Q： 用 HTTP 代理采集 HTTPS 网站需要额外配置吗?

A： 不需要额外配置。requests 库的 proxies 字典中，https 键的值仍然写 http：// 开头——含义是"用这个 HTTP 代理转发 HTTPS 请求"。HTTP 代理通过 CONNECT 方法建立 TCP 隧道，客户端和目标站之间直接做 SSL 握手，代理只做透传，不需要解密。

Q： 短效代理和隧道代理在 Python 代码上有什么区别?

A： 代码写法几乎一样，都是 proxies={"http"： "http：//..."， "https"： "http：//..."} 的形式。区别在 IP 切换的位置：短效代理需要业务侧自己拉新 IP 并替换 proxies;隧道代理用固定入口域名，IP 切换在代理后端完成，业务侧不感知。隧道代理代码量更少，适合不想维护 IP 池的团队。

Q： 代理 IP 经常失效怎么办?

A： 代理 IP 失效是采集任务的常态，不是异常。处理思路是：① 设短超时(连接 3–5 秒)，失败立即换 IP;② 维护 IP 池或用隧道代理;③ 记录每个 IP 的成功率，主动剔除低质量 IP。青果代理的纯净 IP 资源池日更 600 万+，可用率 99.9%，可以减少业务侧的失效处理压力。

Q： 用 HTTP 代理采集时 requests 报 ProxyError 是什么原因?

A： ProxyError 主要有 4 种原因：① 代理 IP 已经失效或被回收;② 代理服务器宕机;③ 鉴权信息(username/password)错误;④ 网络环境无法连通代理 IP。排查顺序：先用 curl 在命令行验证代理是否可用，再检查鉴权，最后看是否需要换 IP。

Q： 高并发采集时，Python 用 HTTP 代理有性能瓶颈吗?

A： 瓶颈一般不在代理本身，而在三处：① TCP 连接数(用 HTTPAdapter 设连接池);② DNS 解析速度(可以本地缓存);③ requests 是同步库，高并发场景建议换成 aiohttp + asyncio，或者用 gevent 做协程化。青果隧道代理支持高并发连接，业务侧只要做好客户端连接池配置即可。

Q： 怎么判断代理 IP 的质量好坏?

A： 三个核心指标：① 可用率(实际可用 IP / 提取的总 IP);② 平均响应时间(代理转发延迟);③ IP 纯净度(是否被目标站标记过)。生产环境建议在业务侧也做实时监控，把成功率低于阈值的 IP 主动剔除。青果的六维评分卡覆盖这些核心指标，可以作为评估代理 IP 服务商的参考框架。