搜索引擎会选择 IIS 文件夹中未链接到任何 URL 和不可浏览文件夹中的文件吗
Would search engines pick up files in IIS folder, that are not linked to any URL, and in Non-Browseable folder
我们有一个托管在 IIS 上的应用程序,我们在一个文件夹中有特定的文件,我们不希望任何搜索引擎注册这些文件。
我已阅读this:
The robots.txt standard is meant for this. Example
User-agent: *
Disallow: /protected-directory/
我知道这并不一定意味着文件不会被索引。
我的问题:搜索引擎会选择没有任何 URL 指向这些文件的文件吗?
该目录不可浏览,也没有 link。
我将文件放在那里安全吗,或者搜索引擎抓取工具会捡起它吗?
如果您没有将此 link 发布在 Web 上的某处,并且您的目录不可浏览,则爬虫将永远找不到该文件,也永远不会将其编入索引
我们有一个托管在 IIS 上的应用程序,我们在一个文件夹中有特定的文件,我们不希望任何搜索引擎注册这些文件。
我已阅读this:
The robots.txt standard is meant for this. Example
User-agent: *
Disallow: /protected-directory/
我知道这并不一定意味着文件不会被索引。
我的问题:搜索引擎会选择没有任何 URL 指向这些文件的文件吗? 该目录不可浏览,也没有 link。 我将文件放在那里安全吗,或者搜索引擎抓取工具会捡起它吗?
如果您没有将此 link 发布在 Web 上的某处,并且您的目录不可浏览,则爬虫将永远找不到该文件,也永远不会将其编入索引