不理解这个 robots.txt
Not understanding this robots.txt
另一家公司为我管理的站点设置了 robots.txt。这是他们使用的代码:
User-agent: googlebot
User-agent: google
User-agent: bingbot
User-agent: bing
Allow: /products/
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /sales/
Disallow: /products/
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-admin/admin-ajax.php*
我看到禁止:/products/ 并允许 /products/。我不明白他们为什么要这样写。我应该改变什么吗?
- 第一个指令
Allow: /products/
对 google 有效,并且
bing 机器人。
- 第二个指令
Disallow: /products/
有效
对于所有其他机器人,“用户代理:*”。
我认为这些规则没有多大意义,但它们并不违反标准。
另一家公司为我管理的站点设置了 robots.txt。这是他们使用的代码:
User-agent: googlebot
User-agent: google
User-agent: bingbot
User-agent: bing
Allow: /products/
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /sales/
Disallow: /products/
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-admin/admin-ajax.php*
我看到禁止:/products/ 并允许 /products/。我不明白他们为什么要这样写。我应该改变什么吗?
- 第一个指令
Allow: /products/
对 google 有效,并且 bing 机器人。 - 第二个指令
Disallow: /products/
有效 对于所有其他机器人,“用户代理:*”。
我认为这些规则没有多大意义,但它们并不违反标准。