防止 googlebot 索引 robots.txt 和 .htaccess 中的文件类型

Question

关于如何防止 google bot 索引的问题有很多 Stack Overflow，例如，txt 文件。有这个：

robots.txt

User-agent: Googlebot Disallow: /*.txt$

.htaccess

<Files ~ "\.txt$">
     Header set X-Robots-Tag "noindex, nofollow"
</Files>

但是，当试图阻止两种类型的文件被索引时，这两种方法的语法是什么？就我而言 - txt 和 doc.

Answer 1

在您的 robots.txt 文件中：

User-agent: Googlebot
Disallow: /*.txt$
Disallow: /*.doc$

Google 网站管理员的更多详细信息：Create a robots.txt file

在您的 .htaccess 文件中：

<FilesMatch "\.(txt|doc)$">
    Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

prevent googlebot from indexing file types in robots.txt and .htaccess