网站请求之间的 Ping 持续时间

Question

假设我有两个请求，它们之间的最短持续时间是多少，这样大型网站就不会将我视为机器人？

我在这里发出请求，请求在 150 毫秒到 250 毫秒左右得到解决，因为我正在下载页面。以下请求在我的第一个请求下载后 200 毫秒出现。总共耗时400ms左右，这算是机器人吗？

Answer 1

通常你有一个名为 User-Agent 的 http-header，（诚实的）机器人应该告诉服务器 "hey I'm a bot"，当然有一些爬虫和机器人不会将自己标识为机器人，但那些是我们试图抓住的那些。使用许多不同的方法。您的目标具体使用了哪些方法，只有负责该目标的系统管理员才能回答。

我会走诚实的路，将自己标识为机器人，但我会检查 robots.txt 文件的抓取速率限制，并尊重它。

诚实的机器人通常不是问题，不诚实的机器人才是问题。