我如何安全地将我在 AWStats 中找到的这些 IP 列入黑名单?
How do I safely blacklist these IPs I found in AWStats?
我的网站存在性能问题,部分原因是机器人。我检查了我的 AWStats,发现一些 IP 地址占用了大量带宽。我如何判断将这些列入黑名单是否安全?少数人每月消耗 2 GB 或更多,一直如此。
看这个截图:
https://ibb.co/hJ6hmR
我尝试在这些 IP 上进行 IP 查找,但我如何判断它是否是我应该保留的东西,就像已知的爬虫一样?
我也查看了 AWStats 中的爬虫,但我没有看到 IP 地址,所以我无法判断它来自哪里。一个未知的机器人吃掉了 11 GB,而 Googlebot 只使用了 1 GB。
https://ibb.co/cWDCmR
如何找出不良爬虫?
如果您使用的是 Apache
,您可以尝试在您的 .htaccess 中禁止机器人
BrowserMatchNoCase thisisthebotname bad_bot
Order Deny,Allow
Deny from env=bad_bot
但您需要机器人的用户代理
我的网站存在性能问题,部分原因是机器人。我检查了我的 AWStats,发现一些 IP 地址占用了大量带宽。我如何判断将这些列入黑名单是否安全?少数人每月消耗 2 GB 或更多,一直如此。
看这个截图: https://ibb.co/hJ6hmR
我尝试在这些 IP 上进行 IP 查找,但我如何判断它是否是我应该保留的东西,就像已知的爬虫一样?
我也查看了 AWStats 中的爬虫,但我没有看到 IP 地址,所以我无法判断它来自哪里。一个未知的机器人吃掉了 11 GB,而 Googlebot 只使用了 1 GB。 https://ibb.co/cWDCmR
如何找出不良爬虫?
如果您使用的是 Apache
,您可以尝试在您的 .htaccess 中禁止机器人BrowserMatchNoCase thisisthebotname bad_bot
Order Deny,Allow
Deny from env=bad_bot
但您需要机器人的用户代理