我应该阻止这个 Ip 范围吗？
Should I block this Ip range?
我的网站上有一个爬虫在其用户代理中未被识别为机器人。
其中一个 IP 地址是：
131.161.8.197
所有机器人都属于 131.161 的 IP 范围。
显然它是一个基于 ipwhois 的 "brasil baidu"。
我应该继续阻止整个 ips 范围吗？
所以它起源于巴西，真正的问题是..您需要定位到巴西地区吗？
阻止爬虫意味着你要处理的流量更少，所以我个人会同意阻止它。
您可以使用 robots.txt 或通过服务器端进行。显然你可以使用：
Order Deny,Allow
Deny from 131.161.8.197
或：
User-agent: Baiduspider
User-agent: Baiduspider-video
User-agent: Baiduspider-image
Disallow: /
我的网站上有一个爬虫在其用户代理中未被识别为机器人。
其中一个 IP 地址是：
131.161.8.197
所有机器人都属于 131.161 的 IP 范围。
显然它是一个基于 ipwhois 的 "brasil baidu"。
我应该继续阻止整个 ips 范围吗？
所以它起源于巴西，真正的问题是..您需要定位到巴西地区吗？
阻止爬虫意味着你要处理的流量更少，所以我个人会同意阻止它。
您可以使用 robots.txt 或通过服务器端进行。显然你可以使用：
Order Deny,Allow
Deny from 131.161.8.197
或：
User-agent: Baiduspider
User-agent: Baiduspider-video
User-agent: Baiduspider-image
Disallow: /