持续更新 · 动态代理编辑部
动态代理PROXY KNOWLEDGE & INSIGHTS
2026年11月19日 · 星期四
搜索全站内容 →
短效代理 2026/11/19

如何使用 Python 爬虫抓取动态加载数据?从接口请求到 Playwright 实践

动态加载数据应先定位来源:允许直接调用的接口可用 Requests 获取,需要浏览器交互时使用 Playwright。教程涵盖请求观察、分页、等待条件及结果完整性检查。

示例说明:代码使用示意地址和字段,尚未针对实际目标站运行,需按有权访问的目标调整。

浏览器里明明能看到列表,Python 请求回来的 HTML 却只有几个空标签。刚接触爬虫时,这个问题很容易把人带偏:是不是请求头没写对,是不是解析工具不行,还是需要先换一个代理?

先说结论:抓取动态加载数据,关键是找到数据从哪里来,再决定是否需要运行浏览器。

如果数据来自允许调用的接口,可以用 Requests 请求接口、解析 JSON;如果必须经过页面交互才能获得结果,再考虑 Playwright 驱动浏览器。我的建议是先把这一层判断做清楚,不要一看到 JavaScript 就直接启动浏览器。

本文以 Python 3 为代码环境,面向已经会运行 Python 脚本的入门开发者。示例仅用于你有权访问和采集的页面或测试环境,实际使用时仍需遵守目标服务的访问规则与频率限制。

浏览器有数据,为什么 Requests 没拿到?

先看一个简化的页面:

<body>
  <div id="product-list"></div>
  <script src="/assets/app.js"></script>
</body>

服务器最初返回的 HTML 中,列表容器是空的。浏览器下载并执行脚本后,脚本可能再请求一个数据接口,将响应中的商品信息插入页面。

于是,你看到的是两个不同阶段:

阶段 内容
服务器返回初始 HTML 页面骨架、脚本地址,可能还有部分初始数据
浏览器执行 JavaScript 后 接口数据被处理,页面元素发生变化

普通 Requests 请求只取得服务器响应,不会像浏览器一样继续执行页面中的 JavaScript。把这份 HTML 交给 BeautifulSoup,也只是解析现有内容,不能凭空补出脚本之后才加载的数据。

不过,源码里没找到目标标签,也不能立刻认定必须使用浏览器。 有些页面会把初始数据放在 HTML 的 JSON 脚本块中;有些页面先返回部分内容,再通过接口补齐。先看实际响应,再选工具。

我会先打开 Network,而不是先写爬虫

以一个点击“加载更多”后出现新条目的页面为例,先在浏览器中完成一次正常操作。

  1. 打开开发者工具,切换到 Network(网络)。
  2. 清空已有请求记录,选择 Fetch/XHR 筛选。
  3. 刷新页面,或点击一次“加载更多”。
  4. 查看新增请求的 Preview(预览) 或 Response(响应),寻找页面上刚出现的标题、编号等字段。

重点不是请求名称像不像接口,而是响应内容能不能对应你需要的数据。

找到候选请求后,记录这些信息:

检查项 需要弄清楚的问题
请求 URL 数据请求发往哪个地址?
请求方法 是 GET,还是 POST?
参数 使用 page、offset,还是 cursor?
请求体 POST 提交的是 JSON,还是表单?
响应结构 列表在 items、data.list,还是其他位置?
结束标志 是否返回下一页游标、has_more 或总条数?

不要只观察第一页。再加载一次,比较两次请求,才容易看出哪个参数控制翻页。

如果 Fetch/XHR 中没有结果,可以切回全部请求,检查初始文档、其他响应类型或 WebSocket。没有找到 XHR,不等于没有数据来源。

这里还有一个前提:开发者工具能看到接口,并不自动代表你获得了独立调用它的授权。优先使用目标服务提供的正式 API;对于页面接口,只在允许的范围内访问。

路径一:用 Requests 请求已经确认的数据接口

假设在自己的测试页面里,观察到一个 GET 接口:

https://your-authorized-site.example/api/items?page=1

它返回的结构如下:

{
  "items": [
    {"id": 101, "title": "示例文章 A"},
    {"id": 102, "title": "示例文章 B"}
  ],
  "has_more": false
}

这是为说明代码设计的接口约定,不是真实网站地址。运行前,需要将 URL、参数和字段替换成你实际核验过的内容。

安装 Requests:

python -m pip install requests

下面的脚本完成分页请求、字段检查、按 ID 去重和 JSON 保存:

import json
import time
from pathlib import Path

import requests


API_URL = "https://your-authorized-site.example/api/items"
MAX_PAGES = 20
INTERVAL_SECONDS = 1.0

records = {}
completed = False

with requests.Session() as session:
    session.headers.update({
        "Accept": "application/json",
        "User-Agent": "LearningCrawler/1.0",
    })

    for page_number in range(1, MAX_PAGES + 1):
        response = session.get(
            API_URL,
            params={"page": page_number},
            timeout=15,
        )
        response.raise_for_status()

        payload = response.json()

        if not isinstance(payload, dict):
            raise ValueError("响应结构变化:预期为 JSON 对象")

        items = payload.get("items")
        has_more = payload.get("has_more")

        if not isinstance(items, list):
            raise ValueError("响应结构变化:items 应为列表")

        if not isinstance(has_more, bool):
            raise ValueError("响应结构变化:has_more 应为布尔值")

        if not items and has_more:
            raise ValueError("本页为空但仍标记有下一页,请检查分页规则")

        for item in items:
            if not isinstance(item, dict):
                raise ValueError("列表条目应为对象")

            item_id = item.get("id")
            title = item.get("title")

            if (
                isinstance(item_id, bool)
                or not isinstance(item_id, (int, str))
                or not isinstance(title, str)
                or not title.strip()
            ):
                raise ValueError("条目缺少有效的 id 或 title")

            records[str(item_id)] = {
                "id": item_id,
                "title": title.strip(),
            }

        print(
            f"第 {page_number} 页:"
            f"返回 {len(items)} 条,累计去重后 {len(records)} 条"
        )

        if not has_more:
            completed = True
            break

        if page_number < MAX_PAGES:
            time.sleep(INTERVAL_SECONDS)

# 达到安全页数上限时,不把部分结果伪装成完整数据。
output = Path("items.json" if completed else "items.partial.json")
output.write_text(
    json.dumps(list(records.values()), ensure_ascii=False, indent=2),
    encoding="utf-8",
)

print(f"结果已保存:{output}")

if not completed:
    raise RuntimeError("已达到页数上限,仅保存部分结果,请检查分页范围")

代码里的 20 页、15 秒和 1 秒间隔,都是教学设置,不是通用最佳值。实际请求频率应服从目标服务规则。

有几个细节值得停下来讲。

第一,JSON 能解析,不代表请求成功。 Requests 官方文档明确区分了 JSON 解码与 HTTP 请求成功,因此先执行 raise_for_status(),再解析响应。即使状态码正常,还需要检查业务字段,不能把返回的错误对象当成有效数据。[1]

第二,timeout=15 不等于整次任务最多运行 15 秒。 Requests 的超时不是整个响应下载的总时限,更不是分页任务的总预算;持续运行的任务还需要另外设计总时长限制。[1]

第三,代码主动检查分页结构。 我不建议在不了解接口的情况下写成:

items = payload.get("items", [])

然后将空列表直接当成“抓完了”。字段改名、接口返回错误对象,都可能被这种写法悄悄吞掉。

对于教学中已经约定好的 has_more,它缺失就应报错。真实接口使用别的结束规则,代码也要对应调整。

接口不是 GET,怎么处理?

如果你核对到的是 POST JSON 请求,可以使用:

response = session.post(
    API_URL,
    json={"page": page_number},
    timeout=15,
)

如果请求体是表单,则按实际接口使用 data=。Requests 对这两种提交方式提供了不同参数,不要只替换请求方法,却保留错误的请求体格式。[1]

同样,不要把浏览器中的全部请求头原样搬进脚本。先确认接口真正要求的参数、认证方式和会话条件;Cookie、Authorization 等敏感信息不能直接写进公开代码或共享日志。

路径二:用 Playwright 等页面完成必要的交互

如果数据依赖浏览器执行脚本、点击控件或切换选项,而且当前任务适合通过页面完成,Playwright 可以驱动真实浏览器进行操作。

先安装 Python 包和 Chromium:

python -m pip install playwright
python -m playwright install chromium

安装 Python 包与安装浏览器是两个步骤。Playwright 官方提供同步和异步 API,下面使用更便于入门阅读的同步 API。[2]

假设测试页有以下约定:

  • 页面中有一个名为“加载更多”的按钮;
  • 点击按钮后,会请求 /api/items?page=2;
  • 响应结构与上面的 items 示例一致。

下面只演示一次点击对应的一批数据,不是完整分页程序:

import json
from pathlib import Path
from urllib.parse import parse_qs, urlsplit

from playwright.sync_api import sync_playwright


PAGE_URL = "https://your-authorized-site.example/items"
EXPECTED_API_HOST = "your-authorized-site.example"


def is_second_page_response(response):
    url = urlsplit(response.url)

    return (
        url.scheme == "https"
        and url.netloc == EXPECTED_API_HOST
        and url.path == "/api/items"
        and parse_qs(url.query).get("page") == ["2"]
        and response.request.method == "GET"
    )


with sync_playwright() as p:
    browser = p.chromium.launch(headless=True)

    try:
        context = browser.new_context()
        page = context.new_page()
        page.set_default_timeout(15_000)

        navigation = page.goto(
            PAGE_URL,
            wait_until="domcontentloaded",
        )

        if navigation is None or not navigation.ok:
            raise RuntimeError("页面导航失败,请检查目标地址与响应")

        # 先开始等待,再执行会触发请求的点击。
        with page.expect_response(
            is_second_page_response,
            timeout=15_000,
        ) as response_info:
            page.get_by_role(
                "button",
                name="加载更多",
                exact=True,
            ).click()

        response = response_info.value

        if not response.ok:
            raise RuntimeError(f"数据请求失败:HTTP {response.status}")

        payload = response.json()

        if (
            not isinstance(payload, dict)
            or not isinstance(payload.get("items"), list)
        ):
            raise ValueError("数据结构变化,请重新检查接口响应")

        Path("items-page-2.json").write_text(
            json.dumps(payload["items"], ensure_ascii=False, indent=2),
            encoding="utf-8",
        )

        print(f"本次取得 {len(payload['items'])} 条数据")

    finally:
        browser.close()

这里最容易写错的地方,是先点击,再开始等待响应。

不对。

请求可能在点击后很快完成。等你再设置监听,响应已经过去了。Playwright 官方示例采用 expect_response() 包住触发动作的方式,先建立等待,再点击按钮。[3]

同时,响应匹配要足够明确。只判断 URL 包含 api,可能匹配到统计接口、推荐接口或第一页数据。示例同时约束了主机、路径、方法和页码,实际页面使用 POST 或游标时,也应按其真实请求条件调整。

这个脚本还有一个使用前提:按钮必须已经进入可正常交互的状态。自动等待能够处理元素是否可见、是否可点击等条件,但不代表页面的业务初始化一定完成。页面如果存在 hydration 时序问题,仍需等待能够代表业务就绪的具体信号。[4]

已经启动浏览器,也不必只盯着页面元素

使用浏览器获取动态数据,至少有两种结果入口:

方式 适用情况 需要注意
读取网络响应 数据接口返回了需要的字段 匹配正确请求,检查状态和响应结构
读取渲染后的页面元素 需要页面最终呈现的文本,或结果由前端组合生成 等到目标内容就绪,再提取对应节点

如果接口里已经有稳定的业务 ID 和标题,我通常优先考虑直接保存结构化响应。这样不必依赖页面样式类名。

如果目标是“用户最后看到了什么”,页面文本可能更合适。

两者没有绝对优劣,区别在于你的采集目标。一个接口可能返回 20 条记录,页面只展示其中 10 条;也可能页面上显示的文字经过了前端格式化。你要保存原始数据,还是保存展示结果,最好在写选择器之前就确定。

另外,不要认为调用 locator.all() 会自动等列表加载完整。Playwright 的 Locator 文档明确说明,该方法立即返回当前匹配结果;动态列表应先确认加载完成,再遍历。[5]

别用“等五秒”定义数据已经加载完

看到空结果后,最容易补进去的一行是:

time.sleep(5)

偶尔能解决问题,下一次又不行。

原因也很直接:五秒只是经过了五秒,并没有证明你要的数据已经出现。页面可以在 load 事件之后继续请求数据,Playwright 官方也强调,“页面加载完成”取决于页面的具体行为,不能用一个统一事件概括所有业务状态。[4]

更有意义的等待条件是:

  • 目标数据请求已经返回;
  • 当前页的加载标记明确结束;
  • 预期条目数量已经达到;
  • 当前批次的业务标识已经出现。

注意,等待第一个条目出现,只能证明至少有一个条目,不代表这一批已经全部加载。

前面 Requests 示例里的 sleep 用来控制两次请求之间的间隔,与这里“等待页面就绪”是两回事。限速可以基于时间;确认数据完整,需要业务条件。

抓到第一页之后,真正的问题才开始

很多脚本不是完全抓不到,而是只抓到第一页,或者重复抓第一页。

翻页时至少要区分三种机制:

翻页机制 应如何推进 常见错误
页码分页 按接口约定更新 page 参数没有变化,一直请求第一页
偏移量分页 按接口约定更新 offset 将页码当成偏移量
游标分页 使用响应返回的下一页游标 自己计算或猜测游标

遇到无限滚动,也先观察滚动触发的请求,再决定怎么继续。不要把“滚动一次”理解为“新增一页”,更不要把页面高度暂时不变当成绝对结束信号。

还有一种页面值得单独提醒:虚拟列表。它可能只在 DOM 中保留当前可见的一小段内容。即使你已经滚动很久,最后一次读取页面元素,也未必能拿到此前所有条目。

我更建议在每一批数据到达后及时保存,依据业务 ID 去重,同时记录分页位置。

结束时检查的也不只是文件大小,而是:

  • 是否真正满足接口的结束条件;
  • 是否出现重复游标或重复页;
  • 关键字段有没有缺失;
  • 如果接口提供总数,本次结果是否能解释数量差异。

对于持续变化的数据集,分页期间新增、删除记录也可能造成重复或遗漏。去重可以处理一部分重复,不能证明遗漏已经消失。

页面返回异常时,不要先怪代理

动态数据任务至少涉及请求、会话、渲染、分页和内容解析。不同阶段失败,需要处理不同问题。

表现 先检查什么
返回 HTML,代码却在解析 JSON 是否跳到了登录页或错误页,最终 URL 和内容类型是什么
状态码 200,字段不对 是否存在业务错误、空结果或响应结构变化
点击后没有目标响应 按钮是否生效、监听条件是否过窄、请求是否使用其他方法
获取的始终是同一批数据 翻页参数、游标、客户端缓存和去重结果
浏览器能访问,脚本不能 是否缺少合法会话,运行环境和请求条件是否一致
请求越来越慢 本地排队、目标响应、并发设置与频率限制

需要保持登录状态时,要理解 HTTP Cookie 的作用。保持相同出口不等于保留网站会话。

准备增加任务数量时,先分清 代理并发 与每秒请求数。多开几个任务,不一定得到更多有效结果。

至于 代理 IP,它可以参与出口管理,却不会替你的程序执行 JavaScript,也不会自动修复错误的分页参数。当前问题停在哪一步,就先处理哪一步。

常见问题

1. BeautifulSoup 能抓动态页面吗?

它可以解析传入的 HTML,包括浏览器渲染后取得的 HTML;它本身不负责执行 JavaScript。如果数据原本不在响应中,仅更换解析器不能解决加载问题。

2. Requests 和 Playwright 应该选哪个?

已经确认接口允许调用、参数和会话可以正确处理时,可以先考虑 Requests。需要浏览器交互或页面执行环境时,再使用 Playwright。也可以让浏览器完成必要交互,再读取对应网络响应。

3. 为什么浏览器能访问,复制接口地址却失败?

地址只是请求的一部分。请求方法、参数、合法认证和会话都可能影响结果。应比较实际差异,而不是随意复制全部请求头,更不能将缺少权限的问题当成普通配置故障。

4. 遇到验证码或明确的访问限制怎么办?

先停止自动重试,核对授权、访问频率和正式 API。不要把更换出口当成继续访问的默认办法。接口可见与允许采集,是两项不同条件。

5. 怎么判断动态数据抓取成功?

同时检查请求是否完成、字段是否正确、分页是否结束,以及保存的数据是否满足任务要求。日志写着“HTTP 200”或者“找到 20 个元素”,都只能说明其中一部分。

如果你刚开始练习,我建议先完成一个很小的目标:找到一个允许访问的数据源,取回一批数据,核对字段,再保存成 JSON。

这一批说得清楚,再加分页;分页说得清楚,再考虑并发。


参考资料

查阅日期:2026 年 11 月 19 日。示例中的地址、接口结构、按钮名称及等待参数均为教学设定,需按实际页面调整。

  1. Requests — Quickstart
  2. Playwright Python — Getting started: Library
  3. Playwright Python — Network
  4. Playwright Python — Navigations
  5. Playwright Python — Locator

关于作者

本文作者:LeoCrawls。