爬虫采集代理IP怎么配置？完整接入步骤

395 阅读 0 评论 20 点赞

代理IP接入前需要确认什么？

正式配置前，至少要确认代理地址、端口、协议、鉴权方式、IP轮换规则和使用范围。

建议向服务方或技术文档确认以下信息：

配置项	需要确认的内容
代理地址	域名或IP地址是否固定
代理端口	HTTP、HTTPS或SOCKS对应哪个端口
协议	程序需要使用HTTP、HTTPS还是SOCKS
鉴权方式	用户名密码、IP白名单，还是两者可选
IP轮换	每次请求切换、按时间切换，还是由程序主动提取
地区条件	是否支持国家、地区或城市筛选
并发限制	单账号、单通道或单出口的并发上限
计费单位	按请求、按流量、按时间或按提取数量
有效周期	IP或账号配置的有效时间
错误返回	失败时返回状态码、错误信息或空结果

这些配置不能只从一个示例代码中推断。尤其要确认代理端口和鉴权格式，否则程序可能能够连接服务，但无法正确访问目标页面。

HTTP代理应该怎样配置？

HTTP代理适合多数网页采集场景，配置重点是同时覆盖HTTP和HTTPS请求。

以环境变量为例：

export PROXY_HOST="proxy.example.com"
export PROXY_PORT="8000"
export PROXY_USERNAME="your_username"
export PROXY_PASSWORD="your_password"

Python中可以这样读取：

import os

proxy_host = os.getenv("PROXY_HOST")
proxy_port = os.getenv("PROXY_PORT")
proxy_username = os.getenv("PROXY_USERNAME")
proxy_password = os.getenv("PROXY_PASSWORD")

proxy_url = (
    f"http://{proxy_username}:{proxy_password}"
    f"@{proxy_host}:{proxy_port}"
)

proxies = {
    "http": proxy_url,
    "https": proxy_url,
}

如果代理服务使用IP白名单鉴权，则不需要把账号密码放入代理URL，但必须确认当前服务器公网出口已经加入白名单：

proxies = {
    "http": "http://proxy.example.com:8000",
    "https": "http://proxy.example.com:8000",
}

实际使用前应先验证当前服务器出口IP是否稳定。如果服务器存在多个出口，白名单可能只覆盖其中一部分。

SOCKS代理应该怎样配置？

SOCKS代理需要程序库明确支持，不能直接把HTTP代理地址替换成SOCKS端口。

Python使用SOCKS代理时，通常需要安装对应依赖：

pip install requests[socks]

示例配置如下：

import requests

socks_proxy = "socks5h://username:password@proxy.example.com:9000"

proxies = {
    "http": socks_proxy,
    "https": socks_proxy,
}

response = requests.get(
    "https://example.com",
    proxies=proxies,
    timeout=(10, 20),
)

print(response.status_code)

SOCKS5和SOCKS5h的解析行为可能不同。前者可能由本地环境解析域名，后者通常让代理端处理域名解析。具体选择应结合网络环境和服务方文档确认。

如果程序库不支持SOCKS代理，不要直接修改字符串继续尝试，应改用支持该协议的客户端，或选择程序已经支持的接入方式。

用户名密码和IP白名单怎么选？

鉴权方式应根据部署环境稳定性和运维规模选择。

用户名密码鉴权

适合：

服务器公网IP经常变化。
使用容器、云函数或弹性节点。
多个任务需要共享统一配置。
需要按账号区分使用权限。

需要注意：

凭据不能硬编码到代码。
日志中不能打印完整代理URL。
账号密码应设置轮换和失效机制。
不同环境最好使用不同账号或配置。

IP白名单鉴权

适合：

生产服务器出口固定。
希望减少程序侧凭据管理。
任务部署在固定机房或固定云主机。
需要限制只有指定服务器可以使用。

需要注意：

服务器更换公网出口后要重新确认。
容器和代理服务器的公网出口可能不一致。
本地测试环境和线上环境的白名单通常不同。
多服务器部署时要维护完整的出口列表。

如果两种方式都支持，可以在开发阶段使用账号密码，生产环境根据安全策略选择白名单或双重鉴权。

代理配置应该怎样写入程序？

建议采用“环境变量加统一请求函数”的方式，避免配置散落在多个采集脚本中。

示例：

import os
import time
import requests
from urllib.parse import quote

def build_proxy():
    host = os.environ["PROXY_HOST"]
    port = os.environ["PROXY_PORT"]
    username = quote(os.environ["PROXY_USERNAME"], safe="")
    password = quote(os.environ["PROXY_PASSWORD"], safe="")

    proxy_url = f"http://{username}:{password}@{host}:{port}"

    return {
        "http": proxy_url,
        "https": proxy_url,
    }

def request_page(url, retries=2):
    proxies = build_proxy()

    for attempt in range(retries + 1):
        try:
            response = requests.get(
                url,
                proxies=proxies,
                headers={
                    "User-Agent": "PublicDataCollector/1.0",
                    "Accept": "text/html,application/xhtml+xml",
                },
                timeout=(10, 20),
            )

            if response.status_code == 200:
                return response

            if response.status_code in (408, 429, 500, 502, 503, 504):
                time.sleep(2 ** attempt)
                continue

            return response

        except requests.RequestException:
            if attempt == retries:
                raise
            time.sleep(2 ** attempt)

    return None

这里的统一函数承担四项工作：

读取代理配置。
组装HTTP和HTTPS代理。
统一设置超时。
处理可重试错误。

如果使用短效代理，还可以在每次请求前调用IP提取接口，再把返回的代理地址交给请求函数。提取接口和代理连接接口应分开记录，便于判断问题出在IP获取还是目标访问。

短效代理应该怎样配置IP轮换？

短效代理的轮换规则要和请求生命周期匹配，不能只设置“每次更换”一个选项。

常见轮换方式包括：

轮换方式	适用情况	注意事项
每次请求切换	请求之间相互独立	不适合依赖同一会话的流程
按时间切换	一段时间内保持同一出口	需要确认IP有效周期
按任务切换	每个任务使用固定出口集合	便于统计和故障定位
失败后切换	正常请求尽量保持，失败时换出口	需要定义失败判定条件

例如，采集商品列表时，每个页面请求可以独立使用出口；但如果要先访问列表页，再访问详情页，且两次请求依赖同一会话，就不应在中间随意切换。

建议把轮换策略写成配置，而不是写死在代码中：

rotation:
  mode: "per_request"
  max_same_ip_requests: 1
  switch_on_timeout: true
  switch_on_status:
    - 408
    - 429
    - 502
    - 503

隧道代理应该怎样配置？

隧道代理通常只需要在程序中配置一个统一入口，出口切换由服务端完成。

基础配置示例：

import requests

proxies = {
    "http": "http://username:password@tunnel.example.com:8000",
    "https": "http://username:password@tunnel.example.com:8000",
}

response = requests.get(
    "https://example.com",
    proxies=proxies,
    timeout=(10, 30),
)

print(response.status_code)

隧道代理适合以下任务：

采集程序需要统一访问入口。
业务侧不希望维护大量代理地址。
任务需要持续运行。
需要由服务端负责出口切换。

接入前仍需确认：

出口切换的触发条件。
是否支持指定地区。
是否支持会话保持。
单个通道的并发限制。
失败后是否自动切换。
连接长时间空闲后是否会断开。

隧道统一入口不代表所有请求都会保持同一出口。如果业务依赖会话连续性，应进一步确认会话参数或选择适合保持出口的产品形态。

超时和重试参数应该怎样设置？

超时和重试应区分连接超时、读取超时和业务失败，不能只设置一个无限等待。

建议分别设置：

timeout = (
    10,  # connect timeout
    20,  # read timeout
)

连接超时表示建立代理连接或目标连接所等待的时间，读取超时表示连接建立后等待响应内容的时间。

重试时要区分错误类型：

连接超时：可以有限重试。
读取超时：可以降低并发后重试。
408、429、502、503、504：通常可以间隔后重试。
401、403：应检查鉴权和访问权限，不建议机械重试。
解析失败：应保存响应并检查页面结构，不应直接更换代理。
数据字段为空：先判断是页面确实没有数据，还是请求参数错误。

建议使用指数退避：

import time

for attempt in range(3):
    try:
        response = request()
        break
    except Exception:
        wait_seconds = 2 ** attempt
        time.sleep(wait_seconds)

生产环境还应设置最大重试次数，避免失败任务不断重复请求。

并发数应该怎样设置？

并发数应从小规模开始逐步增加，并以业务成功率和超时率共同判断上限。

可以分三个阶段测试：

阶段	测试方式	观察重点
单请求	逐个请求页面	代理连接和解析是否正常
低并发	逐步增加并发	响应时间和失败率是否稳定
目标并发	接近正式运行配置	高峰期成功率、超时和重试情况

不要只看代理服务是否返回成功，还要验证：

页面内容是否完整。
目标字段是否存在。
分页是否连续。
重复数据是否增加。
失败是否集中发生。
任务队列是否积压。

如果并发提高后响应时间快速增加，优先降低并发、拆分任务或调整连接池，不要只增加重试次数。

如何验证代理是否真正生效？

验证代理是否生效，至少要同时检查出口信息、目标响应和业务字段。

可以先访问一个用于显示请求出口信息的测试服务：

import requests

response = requests.get(
    "https://httpbin.org/ip",
    proxies=proxies,
    timeout=(10, 20),
)

print(response.json())

然后再访问实际目标，并检查：

response = requests.get(
    target_url,
    proxies=proxies,
    timeout=(10, 20),
)

assert response.status_code == 200
assert "目标字段" in response.text

验证内容包括：

出口IP是否发生变化。
目标页面是否返回预期内容。
HTTP状态码是否稳定。
响应时间是否在可接受范围。
代理切换后会话是否仍然有效。
目标字段是否能够正常解析。

只验证出口IP是不够的。代理连通只能说明网络路径可用，不能说明目标页面、参数和解析逻辑都正常。

采集程序应该记录哪些日志？

日志需要同时记录代理状态、请求状态和数据状态，才能定位完整链路问题。

建议记录以下字段：

{
  "task_id": "task_001",
  "url": "https://example.com/page/1",
  "proxy_region": "target_region",
  "status_code": 200,
  "response_time_ms": 842,
  "retry_count": 0,
  "parse_status": "success",
  "item_count": 20,
  "error_type": null,
  "created_at": "2026-10-26T10:00:00+08:00"
}

不要记录完整用户名、密码或包含敏感参数的代理URL。必要时可以对账号、任务参数和目标地址进行脱敏。

至少保留以下统计：

总请求数。
成功请求数。
失败请求数。
超时请求数。
各状态码数量。
平均响应时间。
重试次数。
解析成功率。
重复数据量。
每个任务的实际耗时。

常见配置错误应该怎样处理？

遇到错误时应先确认错误层级，再决定是改配置、改程序还是调整任务参数。

代理连接超时

检查代理地址、端口、服务器出口和网络连通性。如果所有目标都超时，优先检查代理配置；如果只有某些目标超时，再检查目标响应和请求参数。

代理认证失败

检查用户名、密码、特殊字符编码和账号状态。如果使用IP白名单，确认当前服务器公网出口是否发生变化。

HTTPS请求失败

确认程序是否支持通过当前HTTP代理建立HTTPS连接，代理URL是否填写正确，证书校验和客户端版本是否正常。

返回空页面

保存原始响应，检查是否需要动态渲染、请求头、Cookie、分页参数或接口参数。不要仅凭空页面判断代理失效。

重试后仍然失败

如果错误集中在401、403或解析异常，重试通常不能解决问题。应分别检查授权、页面结构和业务参数。

上线前可以使用什么配置模板？

上线前建议用一份统一模板记录接入参数、运行参数、数据校验和应急动作。

task:
  name: "公开数据采集任务"
  target: "已确认的公开页面或授权接口"
  schedule: "daily"
  max_concurrency: 5

proxy:
  protocol: "http"
  host: "${PROXY_HOST}"
  port: "${PROXY_PORT}"
  auth_type: "username_password"
  username: "${PROXY_USERNAME}"
  password: "${PROXY_PASSWORD}"
  rotation: "per_request"
  region: "目标地区"

request:
  connect_timeout: 10
  read_timeout: 20
  max_retries: 2
  retry_status:
    - 408
    - 429
    - 502
    - 503
    - 504

data:
  required_fields:
    - "title"
    - "url"
    - "published_at"
  deduplicate_by:
    - "url"
  save_raw_response: false

compliance:
  public_or_authorized_source: true
  personal_data_minimization: true
  retention_days: 30
  access_frequency_reviewed: true

这份模板不代表所有代理服务都使用相同字段。实际部署时，应以服务方接口文档、目标程序和内部安全要求为准。

总结

代理IP配置不是简单填写地址和端口，而是由协议、鉴权、轮换、会话、超时、重试、并发和日志共同组成，只有通过接近真实业务的小流量测试后，才能进入正式采集。

FAQ

Q：配置了代理后，为什么请求仍然显示本机出口IP？

可能是代理没有真正传入请求函数、HTTP和HTTPS配置不完整、程序库不支持当前协议，或者环境变量没有被当前进程读取。建议先访问出口信息测试服务，再检查请求函数中的proxies参数和实际运行环境。

Q：代理账号密码中包含特殊字符怎么办？

特殊字符可能会影响代理URL解析。建议对用户名和密码进行URL编码，或者按照服务方文档使用独立的鉴权参数。不要直接把未经编码的特殊字符拼接到代理地址中。

Q：每个请求都更换IP是不是更稳定？

不一定。对相互独立的短请求，每次切换可能更适合；但需要保持Cookie、登录状态或连续会话的任务，频繁切换可能导致会话失效。轮换策略应根据请求链路和会话要求确定。

Q：请求返回429时应该马上更换代理吗？

不能只根据429判断代理失效。429可能与请求频率、并发、任务调度或目标方限制有关。应先降低并发、增加请求间隔、检查任务队列，再根据测试结果判断是否需要切换出口。

Q：使用隧道入口后，还需要自己维护代理池吗？

通常不需要自己维护大量代理地址，但仍需维护请求配置、连接状态、失败重试和监控日志。隧道入口解决的是出口管理的一部分，不会自动解决页面解析、数据重复和任务调度问题。

Q：怎样判断代理配置已经达到上线要求？

至少需要完成单请求、低并发和接近正式并发三阶段测试，并确认出口生效、目标响应正常、关键字段可解析、失败能够重试、日志可以追踪、并发和访问频率有明确上限。

青果网络代理IP - CTA Banner

企业级代理IP服务商

10年专注网络服务
千万级纯净 IP 池，覆盖全国390+城市
累计服务客户超8.5万

立即免费试用

// 青果网络企业级API示例
const config = {
  auth: "QGE_Enterprise_Key",
  region: "CN_ALL"
};

async function getProxy() {
  const res = await qgClient.fetch(config);
  console.log("Stable Connection.");
  return res.ip;
}