在 robots.txt 中阻止 ?page=
Blocking ?page= in robots.txt
基本上 Google 试图索引数千篇看起来像这样的文章：
/questions/are-eggs-bad-for-you?page=69
由于我的分页和无限滚动，url 的范围从 page=1 到 page=99。
如何在我的 robots.txt 文件中只包含 url 的 ?page= 部分，这样它就不会用页码索引任何内容？
不确定在这里问这个问题是否合适，但我很难找到答案。谢谢。
对于Google，最好通过google webmaster tools，去Crawl->URL参数：
添加一个参数page，选择它的效果Paginate和Crawl only Value=1
详细了解 Search Console Help - Learn the impact of duplicate URLs
基本上 Google 试图索引数千篇看起来像这样的文章：
/questions/are-eggs-bad-for-you?page=69
由于我的分页和无限滚动，url 的范围从 page=1 到 page=99。
如何在我的 robots.txt 文件中只包含 url 的 ?page= 部分，这样它就不会用页码索引任何内容？
不确定在这里问这个问题是否合适，但我很难找到答案。谢谢。
对于Google，最好通过google webmaster tools，去Crawl->URL参数：
添加一个参数page，选择它的效果Paginate和Crawl only Value=1
详细了解 Search Console Help - Learn the impact of duplicate URLs