Robots.txt 不允许特定类型的 URL
Robots.txt disallowing particular type of URL
我想从机器人中排除这个 URL:-
测试.com/p/12345/qwerty
但允许这样 URL:-
测试.com/p/12345
这条线路行得通吗？
User-Agent: *
Disallow: */p/*/*
谢谢
根据这个 tutorial 开头不需要 *。应该是：
User-Agent: *
Disallow: /p/*/*
请注意，这将产生在 test 等地址上阻止机器人的副作用。com/p/abc/def
为了执行您所要求的确切功能，仅此而已（即没有副作用），请使用：
User-Agent: *
Disallow: /p/12345/qwerty
默认允许 test.com/p/12345。
我想从机器人中排除这个 URL:- 测试.com/p/12345/qwerty
但允许这样 URL:- 测试.com/p/12345
这条线路行得通吗？
User-Agent: *
Disallow: */p/*/*
谢谢
根据这个 tutorial 开头不需要 *。应该是：
User-Agent: *
Disallow: /p/*/*
请注意，这将产生在 test 等地址上阻止机器人的副作用。com/p/abc/def
为了执行您所要求的确切功能，仅此而已（即没有副作用），请使用：
User-Agent: *
Disallow: /p/12345/qwerty
test.com/p/12345。