ReadTheDocs robots.txt 和 sitemap.xml
ReadTheDocs robots.txt and sitemap.xml
ReadTheDocs 自动为项目生成 robots.txt 和 sitemap.xml。每次我部署项目的新次要版本（例如 4.1.10）时，我都会隐藏以前的次要版本（例如 4.1.9）。 ReadTheDocs 将所有版本的条目添加到 sitemap.xml，但隐藏版本也添加到 robots.txt。结果是向 Google Search Console 提交站点地图，此时会导致“已提交 URL 被 robots.txt 阻止”错误，因为之前的站点地图条目现在已被新生成的站点地图条目阻止robots.txt.
ReadTheDocs 为每个版本生成站点地图 URL，因此我们为 4.1.9 设置了一个条目，例如：
<url>
<loc>https://pyngrok.readthedocs.io/en/4.1.9/</loc>
<lastmod>2020-08-12T18:57:47.140663+00:00</lastmod>
<changefreq>monthly</changefreq>
<priority>0.7</priority>
</url>
而当4.1.10发布时隐藏之前的次要版本，新生成的robots.txt得到：
Disallow: /en/4.1.9/ # Hidden version
我相信 Disallow 就是导致 Google 爬虫抛出错误的原因。
实际上，我在 sitemap.xml 中想要的只是 latest、develop 和 stable，我不太关心每个版本都被抓取。但是我所能配置的 as I understand it from ReadTheDocs docs 是静态 robots.txt.
我想要的是发布我自己的静态 sitemap.xml 而不是使用自动生成的。有什么办法可以做到这一点？
在尝试了一些想法之后，这是我提出的其他解决方案。由于这个问题经常被问到，并且经常作为针对 ReadTheDocs 的错误打开 GitHub（事实并非如此，它似乎没有得到很好的支持 and/or 记录），我将在这里分享我的解决方法供其他人使用找到。
如上文和文档中所述，虽然 ReadTheDocs 允许您覆盖 auto-generated robots.txt 并发布您自己的，但您不能使用 sitemap.xml。不清楚为什么。无论如何，您可以简单地发布一个 不同的 sitemap.xml，我将我的命名为 sitemap-index.xml，然后告诉您的 robots.txt 指向您的自定义站点地图。
对于我的自定义 sitemap-index.xml，我只放置我关心的页面而不是生成的版本（因为 stable 和 latest 确实是我希望搜索引擎抓取的内容, 不是版本化页面):
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:xhtml="http://www.w3.org/1999/xhtml">
<url>
<loc>https://pyngrok.readthedocs.io/en/stable/</loc>
<changefreq>weekly</changefreq>
<priority>1</priority>
</url>
<url>
<loc>https://pyngrok.readthedocs.io/en/latest/</loc>
<changefreq>daily</changefreq>
<priority>0.9</priority>
</url>
<url>
<loc>https://pyngrok.readthedocs.io/en/develop/</loc>
<changefreq>monthly</changefreq>
<priority>0.1</priority>
</url>
</urlset>
我创建了自己的 robots.txt 告诉 Google 除了我的主要分支 和 指向我的自定义 sitemap-index.xml 之外不要抓取任何东西。
User-agent: *
Disallow: /
Allow: /en/stable
Allow: /en/latest
Allow: /en/develop
Sitemap: https://pyngrok.readthedocs.io/en/latest/sitemap-index.xml
我将这两个文件放在 /docs/_html 下，并在我的 Sphinx conf.py 文件（位于 /docs 中）添加：
html_extra_path = ["_html"]
回购协议中也显示了这个，for reference。
在 ReadTheDocs 重建必要的分支后，将 /en/latest/sitemap-index.xml 提供给 Google Search Console 而不是默认的分支，要求 Google 重新处理您的 robots.txt，不仅抓取错误得到解决，Google 将正确索引隐藏以前次要版本的网站。
ReadTheDocs 自动为项目生成 robots.txt 和 sitemap.xml。每次我部署项目的新次要版本（例如 4.1.10）时，我都会隐藏以前的次要版本（例如 4.1.9）。 ReadTheDocs 将所有版本的条目添加到 sitemap.xml，但隐藏版本也添加到 robots.txt。结果是向 Google Search Console 提交站点地图，此时会导致“已提交 URL 被 robots.txt 阻止”错误，因为之前的站点地图条目现在已被新生成的站点地图条目阻止robots.txt.
ReadTheDocs 为每个版本生成站点地图 URL，因此我们为 4.1.9 设置了一个条目，例如：
<url>
<loc>https://pyngrok.readthedocs.io/en/4.1.9/</loc>
<lastmod>2020-08-12T18:57:47.140663+00:00</lastmod>
<changefreq>monthly</changefreq>
<priority>0.7</priority>
</url>
而当4.1.10发布时隐藏之前的次要版本，新生成的robots.txt得到：
Disallow: /en/4.1.9/ # Hidden version
我相信 Disallow 就是导致 Google 爬虫抛出错误的原因。
实际上，我在 sitemap.xml 中想要的只是 latest、develop 和 stable，我不太关心每个版本都被抓取。但是我所能配置的 as I understand it from ReadTheDocs docs 是静态 robots.txt.
我想要的是发布我自己的静态 sitemap.xml 而不是使用自动生成的。有什么办法可以做到这一点？
在尝试了一些想法之后，这是我提出的其他解决方案。由于这个问题经常被问到，并且经常作为针对 ReadTheDocs 的错误打开 GitHub（事实并非如此，它似乎没有得到很好的支持 and/or 记录），我将在这里分享我的解决方法供其他人使用找到。
如上文和文档中所述，虽然 ReadTheDocs 允许您覆盖 auto-generated robots.txt 并发布您自己的，但您不能使用 sitemap.xml。不清楚为什么。无论如何，您可以简单地发布一个 不同的 sitemap.xml，我将我的命名为 sitemap-index.xml，然后告诉您的 robots.txt 指向您的自定义站点地图。
对于我的自定义 sitemap-index.xml，我只放置我关心的页面而不是生成的版本（因为 stable 和 latest 确实是我希望搜索引擎抓取的内容, 不是版本化页面):
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:xhtml="http://www.w3.org/1999/xhtml">
<url>
<loc>https://pyngrok.readthedocs.io/en/stable/</loc>
<changefreq>weekly</changefreq>
<priority>1</priority>
</url>
<url>
<loc>https://pyngrok.readthedocs.io/en/latest/</loc>
<changefreq>daily</changefreq>
<priority>0.9</priority>
</url>
<url>
<loc>https://pyngrok.readthedocs.io/en/develop/</loc>
<changefreq>monthly</changefreq>
<priority>0.1</priority>
</url>
</urlset>
我创建了自己的 robots.txt 告诉 Google 除了我的主要分支 和 指向我的自定义 sitemap-index.xml 之外不要抓取任何东西。
User-agent: *
Disallow: /
Allow: /en/stable
Allow: /en/latest
Allow: /en/develop
Sitemap: https://pyngrok.readthedocs.io/en/latest/sitemap-index.xml
我将这两个文件放在 /docs/_html 下，并在我的 Sphinx conf.py 文件（位于 /docs 中）添加：
html_extra_path = ["_html"]
回购协议中也显示了这个，for reference。
在 ReadTheDocs 重建必要的分支后，将 /en/latest/sitemap-index.xml 提供给 Google Search Console 而不是默认的分支，要求 Google 重新处理您的 robots.txt，不仅抓取错误得到解决，Google 将正确索引隐藏以前次要版本的网站。