禁止包含目录的 URL
Disallow URLs that contain a directory
我有这样显示的 URL：
www.website.com/user/1
www.website.com/user/2
www.website.com/user/3
如您所见，它们都包含 /user/，然后是一个数字。如何在我的 robots.txt 中禁止这样的 URL？谢谢
将此添加到您的 robots.txt
Disallow: /user/
我有这样显示的 URL：
www.website.com/user/1
www.website.com/user/2
www.website.com/user/3
如您所见，它们都包含 /user/，然后是一个数字。如何在我的 robots.txt 中禁止这样的 URL？谢谢
将此添加到您的 robots.txt
Disallow: /user/