防止 googlebot 抓取 woocommerce 过滤器

Question

Google 机器人正在抓取如下产品过滤器参数：

/店铺/?filter_size=10

/shop/?filter_color=red

/shop/?filter_color=blue?filter_size=20

我试图在 robots.txt 文件中添加以下规则，但我仍然可以看到 google 仍在使用过滤器抓取那些类型的 url

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: /wp-json/
Disallow: /cart/
Disallow: /wishlist/
Disallow: /checkout/
Disallow: /my-account/
Disallow: *?filter_color=* 
Disallow: *?filter_size=* 
Disallow: *?min_price=* 
Disallow: *?max_price=*
Disallow: /*add-to-cart=*

我正在使用 WooCommerce 和 Yoast 插件。

我在 Yoast 中仅启用 pages/products/product_cat 的索引。

这会导致服务器上的 cpu 负载过高，而且它们与抓取无关..

如何防止google抓取商店的过滤器？..

Answer 1

所以在环顾四周之后，最好的方法是阻止商店页面被抓取。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot
Disallow: /shop
Disallow: /?s=
Disallow: /search
Disallow: /wp-json
Disallow: /cart
Disallow: /wishlist
Disallow: /checkout
Disallow: /my-account
Disallow: /*?*

防止 googlebot 抓取 woocommerce 过滤器

Prevent googlebot from crawling woocommerce filters

wordpress

googlebot

google-crawlers

woocommerce

yoast