robots.txt 文件被覆盖/从外部源注入？

Question

我们有几个 Wordpress 站点存在同样的问题。他们似乎有一个包含以下内容的 "robots.txt" 文件：

User-Agent: *
Crawl-Delay: 300
User-Agent: MJ12bot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: megaindex.com
Disallow: /

我们完全不知道这个 robots.txt 文件来自哪里。

我们已经查看，在 public_html 根文件夹或我们可以看到的任何子文件夹中肯定没有 "robots.txt" 文件。

我们停用了网站上的每个插件，甚至更改了主题，但 robots.txt 文件仍然完全相同。它似乎以某种方式从外部源以某种方式注入到网站中！

我们确信它不会来自 Google 跟踪代码管理器。

只是想知道是否有人碰巧认出了上述 robots.txt 内容并且知道它是如何存在于我们的网站上的？？？

Answer 1

你有几种可能性。

一些安全插件（WordFence、iTheme 等）实际上会向您的站点添加文件。当您只 "disable" 插件时，这些文件通常不会消失。它们实际上需要 removed/uninstalled，有时您必须手动完成。

WordPress 将生成一个虚拟 robots.txt。

如果 Google 已将其缓存。你可以进去告诉Google再看robots.txt

您还应该能够通过创建自己的 robots.txt 文件并将其放入根目录或使用其他插件来覆盖它。

Answer 2

原来这是一个通用的 robots.txt 文件，我们的服务器管理员已将其设置为注入到我们服务器上的每个站点，以防止我们的服务器受到那些特定机器人的攻击和过载（我们一直有问题）。

robots.txt file being overridden / injected from external source?