是否可以禁止 robots.txt 中的所有子目录？
Is is possible to disallow all child directories in robots.txt?
我最近设置了 robots.txt 文件。
没什么特别的 - 我有一个 asp.net 站点，所以除了我的页面，根目录中的 web.config 等，还有指向 /bin/ 和一些自定义文件夹的链接用于组织而不是站点结构。
目前我单独禁止每个目录，但我想知道是否可以一次性禁止根目录中的所有子目录。
我查看了文档，但还没有找到我想要的答案 - 通常找不到，因为它不可能。
有人建议这是否可行吗？
这可以用通配符来完成：
User-agent: *
Disallow: /*/
请注意，通配符是一种扩展，不是原始 robots.txt 标准的一部分。所有主要搜索引擎都支持它们，但许多专用爬虫不支持它们。
如果你只关心各大搜索引擎，需要屏蔽成百上千个目录，那么通配符是一个很好的解决方案。如果您只需要阻止少数几个目录，那么您最好单独列出它们。
我最近设置了 robots.txt 文件。
没什么特别的 - 我有一个 asp.net 站点，所以除了我的页面，根目录中的 web.config 等，还有指向 /bin/ 和一些自定义文件夹的链接用于组织而不是站点结构。
目前我单独禁止每个目录，但我想知道是否可以一次性禁止根目录中的所有子目录。
我查看了文档，但还没有找到我想要的答案 - 通常找不到，因为它不可能。
有人建议这是否可行吗？
这可以用通配符来完成：
User-agent: *
Disallow: /*/
请注意，通配符是一种扩展，不是原始 robots.txt 标准的一部分。所有主要搜索引擎都支持它们，但许多专用爬虫不支持它们。
如果你只关心各大搜索引擎，需要屏蔽成百上千个目录，那么通配符是一个很好的解决方案。如果您只需要阻止少数几个目录，那么您最好单独列出它们。