python 中请求之间的适当时间？

Question

使用 python 请求模块（获取函数）我正在抓取链接，即爬虫。我使用脚本发出多个请求。由于我提出了太多请求，Google 干预了验证码，该验证码在一段时间后被重置。我正在使用时间模块在每次请求后让代码休眠一段时间以避免它。我想知道什么时候让脚本进入休眠状态，这样 Google 就不会将其视为无效流量？ （我使用的是大学代理服务器）

Answer 1

我创建这个网站对正确抓取很有帮助：h

• https://www.scrapehero.com/how-to-prevent-getting-blacklisted-while-scraping/
• https://webscraping.com/blog/How-to-crawl-websites-without-being-blocked/

尽情享受吧！