如何使用 Python 爬虫抓取动态加载数据?从接口请求到 Playwright 实践
动态加载数据应先定位来源:允许直接调用的接口可用 Requests 获取,需要浏览器交互时使用 Playwright。教程涵盖请求观察、分页、等待条件及结果完整性检查。
示例说明:代码使用示意地址和字段,尚未针对实际目标站运行,需按有权访问的目标调整。
浏览器里明明能看到列表,Python 请求回来的 HTML 却只有几个空标签。刚接触爬虫时,这个问题很容易把人带偏:是不是请求头没写对,是不是解析工具不行,还是需要先换一个代理?
先说结论:抓取动态加载数据,关键是找到数据从哪里来,再决定是否需要运行浏览器。
如果数据来自允许调用的接口,可以用 Requests 请求接口、解析 JSON;如果必须经过页面交互才能获得结果,再考虑 Playwright 驱动浏览器。我的建议是先把这一层判断做清楚,不要一看到 JavaScript 就直接启动浏览器。
本文以 Python 3 为代码环境,面向已经会运行 Python 脚本的入门开发者。示例仅用于你有权访问和采集的页面或测试环境,实际使用时仍需遵守目标服务的访问规则与频率限制。
浏览器有数据,为什么 Requests 没拿到?
先看一个简化的页面:
<body>
<div id="product-list"></div>
<script src="/assets/app.js"></script>
</body>
服务器最初返回的 HTML 中,列表容器是空的。浏览器下载并执行脚本后,脚本可能再请求一个数据接口,将响应中的商品信息插入页面。
于是,你看到的是两个不同阶段:
| 阶段 | 内容 |
|---|---|
| 服务器返回初始 HTML | 页面骨架、脚本地址,可能还有部分初始数据 |
| 浏览器执行 JavaScript 后 | 接口数据被处理,页面元素发生变化 |
普通 Requests 请求只取得服务器响应,不会像浏览器一样继续执行页面中的 JavaScript。把这份 HTML 交给 BeautifulSoup,也只是解析现有内容,不能凭空补出脚本之后才加载的数据。
不过,源码里没找到目标标签,也不能立刻认定必须使用浏览器。 有些页面会把初始数据放在 HTML 的 JSON 脚本块中;有些页面先返回部分内容,再通过接口补齐。先看实际响应,再选工具。
我会先打开 Network,而不是先写爬虫
以一个点击“加载更多”后出现新条目的页面为例,先在浏览器中完成一次正常操作。
- 打开开发者工具,切换到 Network(网络)。
- 清空已有请求记录,选择 Fetch/XHR 筛选。
- 刷新页面,或点击一次“加载更多”。
- 查看新增请求的 Preview(预览) 或 Response(响应),寻找页面上刚出现的标题、编号等字段。
重点不是请求名称像不像接口,而是响应内容能不能对应你需要的数据。
找到候选请求后,记录这些信息:
| 检查项 | 需要弄清楚的问题 |
|---|---|
| 请求 URL | 数据请求发往哪个地址? |
| 请求方法 | 是 GET,还是 POST? |
| 参数 | 使用 page、offset,还是 cursor? |
| 请求体 | POST 提交的是 JSON,还是表单? |
| 响应结构 | 列表在 items、data.list,还是其他位置? |
| 结束标志 | 是否返回下一页游标、has_more 或总条数? |
不要只观察第一页。再加载一次,比较两次请求,才容易看出哪个参数控制翻页。
如果 Fetch/XHR 中没有结果,可以切回全部请求,检查初始文档、其他响应类型或 WebSocket。没有找到 XHR,不等于没有数据来源。
这里还有一个前提:开发者工具能看到接口,并不自动代表你获得了独立调用它的授权。优先使用目标服务提供的正式 API;对于页面接口,只在允许的范围内访问。
路径一:用 Requests 请求已经确认的数据接口
假设在自己的测试页面里,观察到一个 GET 接口:
https://your-authorized-site.example/api/items?page=1
它返回的结构如下:
{
"items": [
{"id": 101, "title": "示例文章 A"},
{"id": 102, "title": "示例文章 B"}
],
"has_more": false
}
这是为说明代码设计的接口约定,不是真实网站地址。运行前,需要将 URL、参数和字段替换成你实际核验过的内容。
安装 Requests:
python -m pip install requests
下面的脚本完成分页请求、字段检查、按 ID 去重和 JSON 保存:
import json
import time
from pathlib import Path
import requests
API_URL = "https://your-authorized-site.example/api/items"
MAX_PAGES = 20
INTERVAL_SECONDS = 1.0
records = {}
completed = False
with requests.Session() as session:
session.headers.update({
"Accept": "application/json",
"User-Agent": "LearningCrawler/1.0",
})
for page_number in range(1, MAX_PAGES + 1):
response = session.get(
API_URL,
params={"page": page_number},
timeout=15,
)
response.raise_for_status()
payload = response.json()
if not isinstance(payload, dict):
raise ValueError("响应结构变化:预期为 JSON 对象")
items = payload.get("items")
has_more = payload.get("has_more")
if not isinstance(items, list):
raise ValueError("响应结构变化:items 应为列表")
if not isinstance(has_more, bool):
raise ValueError("响应结构变化:has_more 应为布尔值")
if not items and has_more:
raise ValueError("本页为空但仍标记有下一页,请检查分页规则")
for item in items:
if not isinstance(item, dict):
raise ValueError("列表条目应为对象")
item_id = item.get("id")
title = item.get("title")
if (
isinstance(item_id, bool)
or not isinstance(item_id, (int, str))
or not isinstance(title, str)
or not title.strip()
):
raise ValueError("条目缺少有效的 id 或 title")
records[str(item_id)] = {
"id": item_id,
"title": title.strip(),
}
print(
f"第 {page_number} 页:"
f"返回 {len(items)} 条,累计去重后 {len(records)} 条"
)
if not has_more:
completed = True
break
if page_number < MAX_PAGES:
time.sleep(INTERVAL_SECONDS)
# 达到安全页数上限时,不把部分结果伪装成完整数据。
output = Path("items.json" if completed else "items.partial.json")
output.write_text(
json.dumps(list(records.values()), ensure_ascii=False, indent=2),
encoding="utf-8",
)
print(f"结果已保存:{output}")
if not completed:
raise RuntimeError("已达到页数上限,仅保存部分结果,请检查分页范围")
代码里的 20 页、15 秒和 1 秒间隔,都是教学设置,不是通用最佳值。实际请求频率应服从目标服务规则。
有几个细节值得停下来讲。
第一,JSON 能解析,不代表请求成功。 Requests 官方文档明确区分了 JSON 解码与 HTTP 请求成功,因此先执行 raise_for_status(),再解析响应。即使状态码正常,还需要检查业务字段,不能把返回的错误对象当成有效数据。[1]
第二,timeout=15 不等于整次任务最多运行 15 秒。 Requests 的超时不是整个响应下载的总时限,更不是分页任务的总预算;持续运行的任务还需要另外设计总时长限制。[1]
第三,代码主动检查分页结构。 我不建议在不了解接口的情况下写成:
items = payload.get("items", [])
然后将空列表直接当成“抓完了”。字段改名、接口返回错误对象,都可能被这种写法悄悄吞掉。
对于教学中已经约定好的 has_more,它缺失就应报错。真实接口使用别的结束规则,代码也要对应调整。
接口不是 GET,怎么处理?
如果你核对到的是 POST JSON 请求,可以使用:
response = session.post(
API_URL,
json={"page": page_number},
timeout=15,
)
如果请求体是表单,则按实际接口使用 data=。Requests 对这两种提交方式提供了不同参数,不要只替换请求方法,却保留错误的请求体格式。[1]
同样,不要把浏览器中的全部请求头原样搬进脚本。先确认接口真正要求的参数、认证方式和会话条件;Cookie、Authorization 等敏感信息不能直接写进公开代码或共享日志。
路径二:用 Playwright 等页面完成必要的交互
如果数据依赖浏览器执行脚本、点击控件或切换选项,而且当前任务适合通过页面完成,Playwright 可以驱动真实浏览器进行操作。
先安装 Python 包和 Chromium:
python -m pip install playwright
python -m playwright install chromium
安装 Python 包与安装浏览器是两个步骤。Playwright 官方提供同步和异步 API,下面使用更便于入门阅读的同步 API。[2]
假设测试页有以下约定:
- 页面中有一个名为“加载更多”的按钮;
- 点击按钮后,会请求
/api/items?page=2; - 响应结构与上面的
items示例一致。
下面只演示一次点击对应的一批数据,不是完整分页程序:
import json
from pathlib import Path
from urllib.parse import parse_qs, urlsplit
from playwright.sync_api import sync_playwright
PAGE_URL = "https://your-authorized-site.example/items"
EXPECTED_API_HOST = "your-authorized-site.example"
def is_second_page_response(response):
url = urlsplit(response.url)
return (
url.scheme == "https"
and url.netloc == EXPECTED_API_HOST
and url.path == "/api/items"
and parse_qs(url.query).get("page") == ["2"]
and response.request.method == "GET"
)
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
try:
context = browser.new_context()
page = context.new_page()
page.set_default_timeout(15_000)
navigation = page.goto(
PAGE_URL,
wait_until="domcontentloaded",
)
if navigation is None or not navigation.ok:
raise RuntimeError("页面导航失败,请检查目标地址与响应")
# 先开始等待,再执行会触发请求的点击。
with page.expect_response(
is_second_page_response,
timeout=15_000,
) as response_info:
page.get_by_role(
"button",
name="加载更多",
exact=True,
).click()
response = response_info.value
if not response.ok:
raise RuntimeError(f"数据请求失败:HTTP {response.status}")
payload = response.json()
if (
not isinstance(payload, dict)
or not isinstance(payload.get("items"), list)
):
raise ValueError("数据结构变化,请重新检查接口响应")
Path("items-page-2.json").write_text(
json.dumps(payload["items"], ensure_ascii=False, indent=2),
encoding="utf-8",
)
print(f"本次取得 {len(payload['items'])} 条数据")
finally:
browser.close()
这里最容易写错的地方,是先点击,再开始等待响应。
不对。
请求可能在点击后很快完成。等你再设置监听,响应已经过去了。Playwright 官方示例采用 expect_response() 包住触发动作的方式,先建立等待,再点击按钮。[3]
同时,响应匹配要足够明确。只判断 URL 包含 api,可能匹配到统计接口、推荐接口或第一页数据。示例同时约束了主机、路径、方法和页码,实际页面使用 POST 或游标时,也应按其真实请求条件调整。
这个脚本还有一个使用前提:按钮必须已经进入可正常交互的状态。自动等待能够处理元素是否可见、是否可点击等条件,但不代表页面的业务初始化一定完成。页面如果存在 hydration 时序问题,仍需等待能够代表业务就绪的具体信号。[4]
已经启动浏览器,也不必只盯着页面元素
使用浏览器获取动态数据,至少有两种结果入口:
| 方式 | 适用情况 | 需要注意 |
|---|---|---|
| 读取网络响应 | 数据接口返回了需要的字段 | 匹配正确请求,检查状态和响应结构 |
| 读取渲染后的页面元素 | 需要页面最终呈现的文本,或结果由前端组合生成 | 等到目标内容就绪,再提取对应节点 |
如果接口里已经有稳定的业务 ID 和标题,我通常优先考虑直接保存结构化响应。这样不必依赖页面样式类名。
如果目标是“用户最后看到了什么”,页面文本可能更合适。
两者没有绝对优劣,区别在于你的采集目标。一个接口可能返回 20 条记录,页面只展示其中 10 条;也可能页面上显示的文字经过了前端格式化。你要保存原始数据,还是保存展示结果,最好在写选择器之前就确定。
另外,不要认为调用 locator.all() 会自动等列表加载完整。Playwright 的 Locator 文档明确说明,该方法立即返回当前匹配结果;动态列表应先确认加载完成,再遍历。[5]
别用“等五秒”定义数据已经加载完
看到空结果后,最容易补进去的一行是:
time.sleep(5)
偶尔能解决问题,下一次又不行。
原因也很直接:五秒只是经过了五秒,并没有证明你要的数据已经出现。页面可以在 load 事件之后继续请求数据,Playwright 官方也强调,“页面加载完成”取决于页面的具体行为,不能用一个统一事件概括所有业务状态。[4]
更有意义的等待条件是:
- 目标数据请求已经返回;
- 当前页的加载标记明确结束;
- 预期条目数量已经达到;
- 当前批次的业务标识已经出现。
注意,等待第一个条目出现,只能证明至少有一个条目,不代表这一批已经全部加载。
前面 Requests 示例里的 sleep 用来控制两次请求之间的间隔,与这里“等待页面就绪”是两回事。限速可以基于时间;确认数据完整,需要业务条件。
抓到第一页之后,真正的问题才开始
很多脚本不是完全抓不到,而是只抓到第一页,或者重复抓第一页。
翻页时至少要区分三种机制:
| 翻页机制 | 应如何推进 | 常见错误 |
|---|---|---|
| 页码分页 | 按接口约定更新 page |
参数没有变化,一直请求第一页 |
| 偏移量分页 | 按接口约定更新 offset |
将页码当成偏移量 |
| 游标分页 | 使用响应返回的下一页游标 | 自己计算或猜测游标 |
遇到无限滚动,也先观察滚动触发的请求,再决定怎么继续。不要把“滚动一次”理解为“新增一页”,更不要把页面高度暂时不变当成绝对结束信号。
还有一种页面值得单独提醒:虚拟列表。它可能只在 DOM 中保留当前可见的一小段内容。即使你已经滚动很久,最后一次读取页面元素,也未必能拿到此前所有条目。
我更建议在每一批数据到达后及时保存,依据业务 ID 去重,同时记录分页位置。
结束时检查的也不只是文件大小,而是:
- 是否真正满足接口的结束条件;
- 是否出现重复游标或重复页;
- 关键字段有没有缺失;
- 如果接口提供总数,本次结果是否能解释数量差异。
对于持续变化的数据集,分页期间新增、删除记录也可能造成重复或遗漏。去重可以处理一部分重复,不能证明遗漏已经消失。
页面返回异常时,不要先怪代理
动态数据任务至少涉及请求、会话、渲染、分页和内容解析。不同阶段失败,需要处理不同问题。
| 表现 | 先检查什么 |
|---|---|
| 返回 HTML,代码却在解析 JSON | 是否跳到了登录页或错误页,最终 URL 和内容类型是什么 |
| 状态码 200,字段不对 | 是否存在业务错误、空结果或响应结构变化 |
| 点击后没有目标响应 | 按钮是否生效、监听条件是否过窄、请求是否使用其他方法 |
| 获取的始终是同一批数据 | 翻页参数、游标、客户端缓存和去重结果 |
| 浏览器能访问,脚本不能 | 是否缺少合法会话,运行环境和请求条件是否一致 |
| 请求越来越慢 | 本地排队、目标响应、并发设置与频率限制 |
需要保持登录状态时,要理解 HTTP Cookie 的作用。保持相同出口不等于保留网站会话。
准备增加任务数量时,先分清 代理并发 与每秒请求数。多开几个任务,不一定得到更多有效结果。
至于 代理 IP,它可以参与出口管理,却不会替你的程序执行 JavaScript,也不会自动修复错误的分页参数。当前问题停在哪一步,就先处理哪一步。
常见问题
1. BeautifulSoup 能抓动态页面吗?
它可以解析传入的 HTML,包括浏览器渲染后取得的 HTML;它本身不负责执行 JavaScript。如果数据原本不在响应中,仅更换解析器不能解决加载问题。
2. Requests 和 Playwright 应该选哪个?
已经确认接口允许调用、参数和会话可以正确处理时,可以先考虑 Requests。需要浏览器交互或页面执行环境时,再使用 Playwright。也可以让浏览器完成必要交互,再读取对应网络响应。
3. 为什么浏览器能访问,复制接口地址却失败?
地址只是请求的一部分。请求方法、参数、合法认证和会话都可能影响结果。应比较实际差异,而不是随意复制全部请求头,更不能将缺少权限的问题当成普通配置故障。
4. 遇到验证码或明确的访问限制怎么办?
先停止自动重试,核对授权、访问频率和正式 API。不要把更换出口当成继续访问的默认办法。接口可见与允许采集,是两项不同条件。
5. 怎么判断动态数据抓取成功?
同时检查请求是否完成、字段是否正确、分页是否结束,以及保存的数据是否满足任务要求。日志写着“HTTP 200”或者“找到 20 个元素”,都只能说明其中一部分。
如果你刚开始练习,我建议先完成一个很小的目标:找到一个允许访问的数据源,取回一批数据,核对字段,再保存成 JSON。
这一批说得清楚,再加分页;分页说得清楚,再考虑并发。
参考资料
查阅日期:2026 年 11 月 19 日。示例中的地址、接口结构、按钮名称及等待参数均为教学设定,需按实际页面调整。
- Requests — Quickstart
- Playwright Python — Getting started: Library
- Playwright Python — Network
- Playwright Python — Navigations
- Playwright Python — Locator
关于作者
本文作者:LeoCrawls。