从搜索引擎隐藏文件夹

Question

如何将文件夹标记为对所有搜索引擎隐藏？

有多少种选择？

哪个最靠谱？

Answer 1

为了防止搜索引擎访问某些 directories/urls，通常的做法是使用 robots.txt。这是搜索引擎在抓取您的网站之前查看的文件。

robots.txt

User-agent: *
Disallow: /secret/

这个文件应该放在你的网站根目录下。例如http://www.example.com/robots.txt

使用/robots.txt时有两个重要的注意事项：

• 机器人可以忽略你的/robots.txt。尤其是扫描网络安全漏洞的恶意软件机器人，以及垃圾邮件发送者使用的电子邮件地址收割机将不会受到关注。
• /robots.txt 文件是公开文件。任何人都可以看到您不希望机器人使用服务器的哪些部分。