如何在 robots.txt 或 .htaccess 上阻止某种类型的 url？

Question

目前在我的网上商店中，在页面过多的类别页面上，网址以 https://www.example.com?p=2 p=3... 我想告诉 robots.txt 不要索引以 p=Number 结尾的 URL。我该怎么做呢？顺便说一下，这是一个 prestashop 网站。

谢谢大家。

Answer 1

只需在您的 robots.txt 文件中添加这一行：

Disallow: /?p=*

因此，例如，这将阻止像 example.com/?p=2 这样的 URL 被 Google 之类的人编入索引。 * 符号代表所有。所以 p= 之后的任何内容都将被包括在内。

Answer 2

如果 p= 分页，您不会希望禁止这些 URL，因为您仍然希望它们被抓取。

如果您不希望它们在 Google 中编入​​索引，请为它们添加一个 noindex 标签，但不要在它们上面放置任何东西以防止抓取。