使用 NodeJS Puppeteer 和 scrapedin 抓取链接配置文件以获取用户电子邮件

Question

亲爱的，我现在正在做一个项目，需要我抓取 public 链接的配置文件以获取一些信息，例如电子邮件、姓名、公司、职位、照片（一些基本信息） 我用 NodeJS 编写它，使用 Puppeteer 和名为 scrapedin

的库

这个库需要我使用电子邮件和密码登录 LinkedIn，我创建了一个虚拟链接帐户来将它用于这个库，它在本地主机上运行良好，但是一旦我将它上传到服务器我应该使用 cookie 登录

这就是问题所在，大概 30 分钟后链接限制了帐户，我不能再使用它了！

我该如何解决这个问题 是否有另一个我可以使用的链接库 scraping？

谢谢。

Answer 1

LinkedIn 可能限制了您的帐户，因为他们不想在他们的网站上使用机器人 activity。您可以尝试使您的脚本表现得更人性化，例如通过使用 setTimeout() 在操作之间插入随机等待时间。花一些时间创建一个新的类似人类的虚拟帐户也可能有所帮助，该帐户不太容易被检测为机器人，例如通过上传个人资料图片和写一些文本。 您还可以让脚本执行一些人工操作，例如在抓取操作之间随机按下类似按钮的操作。