如何使用 Htaccess 阻止所有机器人，包括 Google 机器人和所有其他机器人

Question

如何使用 htaccess 阻止所有机器人。所有机器人意味着所有机器人，甚至 Google 或任何机器人都不应访问我的网站。我在我的站点中使用自定义 index.html 页面，并且在后端也安装了 Wordpress。

Answer 1

无法全部禁止，但您可以禁止一些知名的。要阻止 Google、Yandex 和其他知名搜索引擎，请查看它们的文档，或添加 HTML robots NOINDEX、nofollow 元标记。

对于 Google 检查 Googlebots bot doc 他们有。或者简单地添加 Google 机器人：

    RewriteCond %{HTTP_USER_AGENT} ^Googlebot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Mediapartners [OR]
    RewriteCond %{HTTP_USER_AGENT} ^AdsBot [OR]

对于 .htaccess，您将有一个很长的列表，例如：

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
#... more entries, not showing you the whole list
# as it may contain false positives, find them yourself.
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule .* - [F]

找到您想要的列表，或检查机器人页面以查看它们设置的参数。我从我运行.

的一个应用程序中找到了这个设置

如何使用 Htaccess 阻止所有机器人，包括 Google 机器人和所有其他机器人

How to Block All Bots Inluding Google Bot, and All Other Bots With Htaccess

wordpress

.htaccess

bots