Robots.txt: 不允许重复子目录但允许主目录
Robots.txt: Disallow repeated subdirectories but allow main directories
我有这些目录，有很多：
/dir100/media
/dir200/media
/dir300/media
我想禁止所有 */media 目录
我该怎么做？
您的问题几乎就到位了！
# User agent that should be disallowed, '*' is far 'all'
User-agent: *
Disallow: /*/media
# A less restrictive rule that would also work:
# Disallow: /dir*/media
一般来说，搜索引擎确实希望查看可能从您的页面引用的所有资源，如果这些资源不允许抓取并且对于通过呈现了解页面至关重要，那么有机会 Google 并且其他搜索引擎将很难理解这些页面。在设置禁止指令时请记住这一点。
我有这些目录，有很多：
/dir100/media
/dir200/media
/dir300/media
我想禁止所有 */media 目录 我该怎么做？
您的问题几乎就到位了！
# User agent that should be disallowed, '*' is far 'all'
User-agent: *
Disallow: /*/media
# A less restrictive rule that would also work:
# Disallow: /dir*/media
一般来说，搜索引擎确实希望查看可能从您的页面引用的所有资源，如果这些资源不允许抓取并且对于通过呈现了解页面至关重要，那么有机会 Google 并且其他搜索引擎将很难理解这些页面。在设置禁止指令时请记住这一点。