允许子目录索引但不允许子目录中的其他页面

Question

在robots.txt...

我要允许目录的索引或主页。

/landing/

我不想在目录中允许任何其他页面。

/landing/page  
/landing/anypage

如何做到这一点？

Answer 1

不允许：/landing/* 应该有效。

Answer 2

User-agent: *
Allow: /landing/$
Disallow: /landing/

根据 Google 网站管理员的说法，您可能只需要 Allow 指令：

_{来源：https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt?hl=en#order-of-precedence-for-group-member-records}