隐藏秘密文件夹的最佳 robots.txt 做法
Best robots.txt practice to hide secret folder
我的网站中有一个秘密文件夹，我不想让搜索引擎知道它。我没有将文件夹名称放在 robots.txt 的禁止规则中，因为在 robots.txt 中写入此文件夹名称意味着告诉我的访问者有关该秘密文件夹的信息。
我的问题是，即使我没有向该文件夹发布任何链接，搜索引擎是否能够知道/抓取该文件夹？
是的，他们可以抓取它。
您的文件夹根本不是 "secret"。快速搜索 curl 命令行以下载整个站点，然后在您的站点上尝试它以说服自己您的安全方法是无效的。
这是一个很好的例子：download allfolders subfolders and files using wget
您可以使用 .htaccess 来防止特工请求目录列表，如果您不给文件夹起一个像 "site" 这样明显的名称，这可能会很好地保护您，但我' d 测试一下。
见 deny direct access to a folder and file by htaccess
对所有人隐藏目录的唯一真正可靠的方法是为它设置密码。如果你绝对不能把它放在密码后面，一种创可贴解决方案是将文件夹命名为：
http://example.com/secret-aic7bsufbi2jbqnduq2g7yf/
然后只屏蔽名称的第一部分，如下所示：
Disallow: /secret-
这将有效地阻止目录而不显示其全名。它会阻止任何服从 robots.txt 的爬虫爬取该目录，但它不会使恶意爬虫容易找到该目录。只是不要将此误认为是真正的安全。这将把主要的搜索引擎拒之门外。除此之外没有任何保证。同样，让每个人都远离秘密目录的唯一真正可靠的方法是为目录设置密码。
我的网站中有一个秘密文件夹，我不想让搜索引擎知道它。我没有将文件夹名称放在 robots.txt 的禁止规则中，因为在 robots.txt 中写入此文件夹名称意味着告诉我的访问者有关该秘密文件夹的信息。
我的问题是，即使我没有向该文件夹发布任何链接，搜索引擎是否能够知道/抓取该文件夹？
是的，他们可以抓取它。
您的文件夹根本不是 "secret"。快速搜索 curl 命令行以下载整个站点，然后在您的站点上尝试它以说服自己您的安全方法是无效的。
这是一个很好的例子：download allfolders subfolders and files using wget
您可以使用 .htaccess 来防止特工请求目录列表，如果您不给文件夹起一个像 "site" 这样明显的名称，这可能会很好地保护您，但我' d 测试一下。 见 deny direct access to a folder and file by htaccess
对所有人隐藏目录的唯一真正可靠的方法是为它设置密码。如果你绝对不能把它放在密码后面，一种创可贴解决方案是将文件夹命名为：
http://example.com/secret-aic7bsufbi2jbqnduq2g7yf/
然后只屏蔽名称的第一部分，如下所示：
Disallow: /secret-
这将有效地阻止目录而不显示其全名。它会阻止任何服从 robots.txt 的爬虫爬取该目录，但它不会使恶意爬虫容易找到该目录。只是不要将此误认为是真正的安全。这将把主要的搜索引擎拒之门外。除此之外没有任何保证。同样，让每个人都远离秘密目录的唯一真正可靠的方法是为目录设置密码。