滚动到底部后加载的抓取数据

Question

我正在与 PHP 合作，我想从任何网站抓取一些数据。但我有一个问题。我抓取数据，但这些项目编号是 48。但我知道该页面有 11K 项目。当您滚动时，其余数据会扩展，您会得到一组新数据（48 项）。 我正在抓取 simple_html_dom。如何操作滚动并获取数据？ 谢谢！ :)

Answer 1

听起来丢失的数据是通过 ajax 加载的。

检查开发人员控制台中的“网络”选项卡（按 F12）。查看正在调用的 URL（和响应），并根据您的需要对其进行编辑。然后调用这个 URL 而不是你现在正在服用的那个。

Answer 2

这样是不行的

但是如果您需要废弃这些数据，您可以向 return 延迟加载数据的端点发送请求。您必须研究目标站点的js代码。

p.s。 如果你想使用非常困难的方法，你可以研究浏览器模拟。