如何 update/replace robots.txt 在 aws cloudfront 中归档

How to update/replace robots.txt file in aws cloudfront

我有一个网站 www.example.com。因此,当我访问 robots.txt 文件时,如 www.example.com/robots.txt,它显示多行文本,这是 SEO 团队的 created/prepared。

所以有一个指向 CloudFront 的子域 assets.example.com。当我像 https://assets.example.com/robtos.txt 这样通过 CloudFront URL 访问 robots.txt 文件时,它会在浏览器中显示以下结果。

User-agent: *
Disallow: / 

因此有更新 AWS CloudFront 中 robots.txt 文件内容的请求,因此 https://assets.example.com/robtos.txthttps://www.example.com/robtos.txt 应该显示相同的文本。我没有找到 robots.txt 放置在云端的任何地方。

是否可以在云端更新 robots.txt?这里有CloudFront的作用吗?或者我们需要为 assets.example.com 更新 robots.txt 与为 example.com?

配置的相同

请帮帮我。我在这里很困惑。

您可以指向 CloudFront 分配 (assets.example.com),然后添加一个具有域名 www.example.com 的新来源,然后添加一个具有路径模式 robots.txt 的新缓存行为并添加它的起源。

此设置接受对 assets.example.com/robots.txt 的请求并将其转发给 www.example.com/robots.txt。有了这个,您可以删除重复项。

您可以通过选项失效来使缓存失效。

您可以执行以下操作:

  1. 直接将构建文件夹部署到 S3 存储桶。
  2. 不需要缓存 robots.txt 文件
  3. 每当您将构建部署或上传到 S3 时,请执行以下步骤
  4. 转到云端
  5. 使对象失效
  6. 创建条目/*