robots.txt 格式禁止所有子 URL 但不允许根 URL 本身

Question

我的申请网址如下

http://example.com/app/1

http://example.com/app/2

http://example.com/app/3

...

http://example.com/app/n

现在我想阻止所有这些 URL 被抓取但不是 http://example.com/app 我如何使用 robots.txt

来做到这一点

Answer 1

将以下内容添加到您的 robots.txt

Disallow: /app/

这将允许 http://example.com/app but not http://example.com/app/* 您可以在此处测试您的 robots.txt https://www.google.com/webmasters/tools/robots-testing-tool