Robots.txt 禁止使用正则表达式的路径
Robots.txt disallow path with regular expression
robots.txt是否接受正则表达式？
我有很多 URL 这种格式：
https://example.com/view/99/title-sample-text
ID ----------------------^
Title -----------------------------^
我用过这个：
Disallow: /view
但看起来这不起作用，因为 google 索引了更多页面。所以我想用正则表达式来做这个，像这样：
Disallow: /view/([0-9]+)/([^/]*)
但是这种格式是否正确或在 robots.txt 中有效？
您可以使用通配符...
User-agent: *
disallow: /view/*
希望对您有所帮助。
robots.txt是否接受正则表达式？
我有很多 URL 这种格式：
https://example.com/view/99/title-sample-text
ID ----------------------^
Title -----------------------------^
我用过这个：
Disallow: /view
但看起来这不起作用，因为 google 索引了更多页面。所以我想用正则表达式来做这个，像这样：
Disallow: /view/([0-9]+)/([^/]*)
但是这种格式是否正确或在 robots.txt 中有效？
您可以使用通配符...
User-agent: *
disallow: /view/*
希望对您有所帮助。