如何使用 Puppeteer 进行网络抓取并发布?

How to do a web scraping using Puppeteer and publish it?

我想使用 Puppeteer 进行网络抓取。当用户单击我的应用程序中的按钮时,它将从外部 URL 获取数据。我的应用程序必须访问外部 URL、填写表格、单击按钮、获取返回的数据并将其显示给我的应用程序中的用户。是内部项目,一开始是个小项目。

我写了一个测试代码来使用 Puppeteer 使用网站: https://try-puppeteer.appspot.com/

工作完美。太棒了!

  1. 但是,我无法在我的域上使用 Locaweb 上的共享主机[=]将我的代码发送到 运行 32=]。在我看来,我依赖于服务器上的更改才能 运行 Puppeteer,对吗?

  2. 有没有免费的地方 可以托管我的代码和 运行 以及 Puppeteer 之类的我在 https://try-puppeteer.appspot.com/ 做了? 如果您没有建议的免费选项,能否推荐一个低成本的可行选项?

谢谢!

步骤:

  1. 您需要创建一个简单的 expressjs api。
  2. 在某处托管 api(有成千上万的 vps 和 digitalocean/linode 等云托管提供商)
  3. 使用前端访问其余 api(通常是 ajax 调用)

确实有一些免费服务,但会更复杂一些。您需要了解一些无服务器功能。尝试搜索,

  • AWS 拉姆达
  • Netlify 函数
  • Firebase 函数
  • Google 云函数
  • Google云运行.

感谢 Md. Abu Taher 的回答。

有这么简单的吗?

  1. 在以下位置输入代码:https://try-puppeteer.appspot.com/
  2. 运行看看它是否按预期运行。
  3. 复制代码并保存为code.js
  4. 使用http://代码 some-name.any-things.com / project / code.js 并在字符串 https://try-puppeteer.appspot.com/ 或任何 html.[=23= 中获得相同的测试结果]

对不起,我没有这方面的经验。欢迎任何细节的解释。