如何通过数组格式的查询字符串禁止 URL

Question

我想禁止所有 URL 具有数组格式的特定查询参数。

例如我有这种URL：

https://example.com/site/?param[index]=1&param[index2]=5

而且我不希望所有爬虫都在所有数组变体中使用 param 参数来爬网站点。

第二个问题：是否可以只在某个数组参数出现时才禁止？例如，param[index3]? （我不需要它，但它可能对其他人有用）

Answer 1

robots.txt 语法不支持这个。

最接近的方法是将 <meta name="ROBOTS" content="NOINDEX"> 添加到查询字符串中具有该参数的任何页面。