如何自动打开和下载网页？

Question

有一个网站在加载时有一个 HTML <video> 元素，但是如果我用 wget 下载它，这个元素不存在，所以我猜当在浏览器中打开页面时，它由仅 运行 的脚本加载。我需要视频的直接 link，以自动方式。

能否请您告诉我我的想法是否正确，是否有可能的解决方案？例如，我可以从命令行 运行 一个浏览器，让它加载页面和所有引用的内容，然后保存 .html 文件吗？

Answer 1

您可以为此使用 headless Chrome, potentially with Puppeteer 脚本。

不过，根据详细信息，可能会有更简单的选项来满足您的需求。听起来您目前正在尝试使用 wget 抓取第三方网站。除了使用 wget 请求 .html 内容之外，您还可以请求相关的 javascript 文件，然后从那里提取视频 url。