robots.txt URL 模式与@@

Question

我想禁止 /book-search，目前 robots.txt 中有如下规则：

Disallow: /@@book-search*

当我尝试使用网站管理员工具 robots.txt 测试器时，它说 /book-search 仍然允许。

是因为@@吗？ @@是什么意思？

Answer 1

中没有保留意义

因此，像 Disallow: /@@example 这样的行将禁止抓取其路径字面上以 /@@example 开头的 URL，例如：

http://example.com/@@example
http://example.com/@@example.html
http://example.com/@@example/foo

如果您想禁止抓取路径以 /book-search 开头的网址，则您应该使用：

Disallow: /book-search

这将禁止抓取，例如：

http://example.com/book-search
http://example.com/book-search.html
http://example.com/book-search/
http://example.com/book-search/results

robots.txt URL patterns with @@