禁止某些页面目录但不允许该页面本身
Disallow certain page directories but NOT that page itself
比方说，我有一个根据用户输入创建 URL's 的动态页面。
例如：www.XXXXXXX.com/browse <--------（浏览该页）
每次用户输入一些查询时，都会生成更多页面。
例如：www.XXXXXXX.com/browse/abcd <--------（abcd 为新页）
现在，我希望 Google 抓取此 "browse" 页面而不是子页面
它生成的页面。
我正在考虑将其添加到我的 robots.txt 页面； "Disallow: /browse/"
这样做正确吗？或者它也会阻止
Google机器人抓取 "browse" 页面？我应该怎么做才能获得
最优结果？
URL 不以斜杠结尾:
www.XXXXXXX.com/browse
因此这段代码应该有效：
User-agent: *
Disallow: /browse/
比方说，我有一个根据用户输入创建 URL's 的动态页面。
例如：www.XXXXXXX.com/browse <--------（浏览该页）
每次用户输入一些查询时，都会生成更多页面。
例如：www.XXXXXXX.com/browse/abcd <--------（abcd 为新页）
现在，我希望 Google 抓取此 "browse" 页面而不是子页面 它生成的页面。
我正在考虑将其添加到我的 robots.txt 页面； "Disallow: /browse/"
这样做正确吗？或者它也会阻止 Google机器人抓取 "browse" 页面？我应该怎么做才能获得 最优结果？
URL 不以斜杠结尾:
www.XXXXXXX.com/browse
因此这段代码应该有效：
User-agent: *
Disallow: /browse/