Robot.txt 不允许页面但不是开头
Robot.txt disallow page but not starting with
我想禁止特定页面
example.com/10
但不是以 /10 开头的其他页面
example.com/101
example.com/102
example.com/103
怎么做？
可以使用Allow关键字来实现：
User-agent: *
Allow: /10*
Disallow: /10$
来自 http://tools.seobook.com/robots-txt/analyzer/ 的结果：
Url: /10
Multiple robot rules found
Robots disallowed: All robots
Url: /101
Robots allowed: All robots
Url: /102
Robots allowed: All robots
Url: /103
Robots allowed: All robots
但是，较旧的机器人可能会正确解释它。例如只读第一行。
我想禁止特定页面
example.com/10
但不是以 /10 开头的其他页面
example.com/101
example.com/102
example.com/103
怎么做？
可以使用Allow关键字来实现：
User-agent: *
Allow: /10*
Disallow: /10$
来自 http://tools.seobook.com/robots-txt/analyzer/ 的结果：
Url: /10
Multiple robot rules found
Robots disallowed: All robots
Url: /101
Robots allowed: All robots
Url: /102
Robots allowed: All robots
Url: /103
Robots allowed: All robots
但是，较旧的机器人可能会正确解释它。例如只读第一行。