如何阻止 facebook 爬虫导致高 CPU 使用率
How can I stop facebook crawler causing high CPU usage
您好，我最近在 Apache CPU 使用、Apache 内存使用和 MySQL 内存使用方面出现超高峰值。事实证明，爬虫以非常激进的速度访问我的网站，尤其是 Facebook。我试图将 facebook 爬虫的爬行延迟添加到 robot.txt 文件中，如下所示：
User-agent: Facebot
Disallow:
Crawl-delay: 5
但我仍然看到高使用率峰值。这是由于代码不正确还是有更好的方法来完全停止使用我服务器的大量资源的抓取工具？
非常感谢任何帮助。
将路径更改为
Disallow: /
您好，我最近在 Apache CPU 使用、Apache 内存使用和 MySQL 内存使用方面出现超高峰值。事实证明，爬虫以非常激进的速度访问我的网站，尤其是 Facebook。我试图将 facebook 爬虫的爬行延迟添加到 robot.txt 文件中，如下所示：
User-agent: Facebot
Disallow:
Crawl-delay: 5
但我仍然看到高使用率峰值。这是由于代码不正确还是有更好的方法来完全停止使用我服务器的大量资源的抓取工具？
非常感谢任何帮助。
将路径更改为
Disallow: /