Python 如何配置代理 IP 做数据采集?从请求到有效记录
代理只负责请求路径;采集还要验证响应类型、字段、分页和去重,避免把提示页当成有效数据。
Python 如何配置代理 IP 做数据采集?从请求到有效记录
署名:动态代理编辑部
Python 配置代理后做数据采集,需要同时完成两件事:请求按预期经过代理,返回的数据符合任务要求。收到响应并不代表已经取得有效记录。
这里用一个自有 JSON 分页接口演示完整的小流程。网页 HTML 需要另写对应解析器;本例不模拟登录、不执行 JavaScript,也不处理未经授权的访问。
先确定输入与输出
假设接口接受 page 参数,返回 {"items":[{"id":"唯一标识"}]}。这是本文的演示接口格式,不是某个网站或供应商的公开承诺。实际使用时,需要按目标文档调整字段和结束条件。
输出为 records.jsonl,每行一条 JSON。示例只请求三页,并用记录 ID 在本次运行中去重。它会覆盖当前目录同名文件,因此请在专门的测试目录运行;它不是可以自动断点恢复的生产采集器。
准备 Python 与代理配置
使用 Python 3,安装 requests==2.34.2。环境变量 PROXY_HOST、PROXY_PORT 表示账密型 HTTP 入口,DATA_URL 是已经授权的测试接口。账号和密码在运行时输入。仅当目标允许访问并提供相应数据用途权限时执行。
import os, json, time
from pathlib import Path
from getpass import getpass
from urllib.parse import quote
import requests
user, password = input("Proxy username: "), getpass("Proxy password: ")
proxy = (f"http://{quote(user, safe='')}:{quote(password, safe='')}"
f"@{os.environ['PROXY_HOST']}:{int(os.environ['PROXY_PORT'])}")
proxies = {"http": proxy, "https": proxy}
seen = set()
# Three pages and a two-second pause are teaching values, not target permission.
with requests.Session() as session, Path("records.jsonl").open("w", encoding="utf-8") as out:
session.trust_env = False
for page in range(1, 4):
with session.get(os.environ["DATA_URL"], params={"page": page},
proxies=proxies, timeout=(5, 20),
allow_redirects=False) as response:
if response.status_code in {403, 429}:
raise RuntimeError("Stop and review access or rate limits")
response.raise_for_status()
if not 200 <= response.status_code < 300:
raise ValueError("Unexpected redirect")
if "application/json" not in response.headers.get("Content-Type", "").lower():
raise ValueError("Expected a JSON response")
payload = response.json()
if not isinstance(payload, dict) or not isinstance(payload.get("items"), list):
raise ValueError("Expected an items array")
for item in payload["items"]:
if not isinstance(item, dict) or not isinstance(item.get("id"), str) or not item["id"]:
raise ValueError("Expected a nonempty string id")
if item["id"] not in seen:
out.write(json.dumps(item, ensure_ascii=False) + "\n")
seen.add(item["id"])
if page < 3:
time.sleep(2)
print("unique_records", len(seen))
代码的三页和两秒等待只用于展示顺序,不是适用于任意目标的访问额度。实际频率按目标规则设置。示例隔离环境代理和 CA 路径,需要企业 CA 时显式配置 session.verify。
验证不能只看状态
程序先检查 403 和429,遇到权限拒绝或限流就停止,再核对其他错误状态。随后检查 JSON 内容类型、顶层结构和记录 ID。这样可以避免一部分“HTTP 200,实际却是 HTML 提示页”的误入库。
这些检查还不够判断数据业务质量。继续核对字段是否缺失、同一条记录的地区和时间是否一致,以及分页是否有遗漏。对缺失字段,应保留错误原因,而不是在代码里填一个看起来合理的值。
下一步怎样扩展
当小流程能够解释每条输入和输出后,再加入分页结束条件、任务进度和持久化去重。若要加重试,只针对允许重复的读取操作设置次数和等待,不能把重试当成获得访问权限的方法。
遇到空数据,先确定它是合法空集合,还是授权、参数、地区和解析问题。请求超时查连接与读取阶段;HTML 中只有脚本容器则查页面渲染方式。代理配置只是采集的一部分,把失败分清楚才能决定下一步该改什么。
常见问题
配置代理后能直接抓到所有网页内容吗?
不能。目标授权、页面脚本、登录状态和解析方式都会影响结果。
429 应该马上换 IP 重试吗?
不应这样默认处理。先停止并按目标说明处理限流,若要恢复应遵守 Retry-After 和访问政策。
去重以后是否就不会漏数据?
不是。去重处理重复记录,漏采还需要核对分页、时间窗口和应有记录范围。
资料来源
- Requests Advanced Usage — Proxies, Session Objects, Timeouts
- Requests Quickstart — JSON, status codes and errors
资料查阅日期:2026-11-20。