AWS CloudFront 签名的 cookies + S3 适用于 REST 客户端应用程序，但不适用于浏览器

Question

我正在尽可能详细地回答这个问题，以便遇到相同问题的任何其他人都将拥有全面的资源来解决这个问题并使其发挥作用。

目标

目标是使用签名 cookie，以便我的应用程序中经过身份验证的用户可以自由访问他们的任何文件，而无需签署 URL。

S3 和 CloudFront 配置

我很确定其中大部分是正确的，但为了提供完整的图片，我将包括我的设置。

S3 配置

我有一个我们称之为 my-storage 的桶。它具有以下 CORS 配置：

<?xml version="1.0" encoding="UTF-8"?>
<CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
<CORSRule>
    <AllowedOrigin>*</AllowedOrigin>
    <AllowedMethod>HEAD</AllowedMethod>
    <AllowedMethod>GET</AllowedMethod>
    <MaxAgeSeconds>3000</MaxAgeSeconds>
    <AllowedHeader>*</AllowedHeader>
</CORSRule>
</CORSConfiguration>

存储桶策略是：

{
    "Version": "2008-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::cloudfront:user/CloudFront Origin Access Identity xxx"
            },
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::my-storage/*"
        },
        {
            "Effect": "Allow",
            "Principal": "*",
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::my-storage/*",
            "Condition": {
                "StringLike": {
                    "aws:Referer": "http://localhost:8080/*"
                }
            }
        }
    ]
}

localhost 异常只是为了让我可以在本地 build/test 我的应用程序，因为 HTTP cookie 由于 cross-domain 问题无法正常工作。

CloudFront 分发

我有一个使用此存储桶作为源的 CloudFront 分配。为此 post，我们称 CNAME 为 files.mysite.com。这是原始配置：

行为配置有点多截图和post，但重要的细节是：

允许的 HTTP 方法：GET、HEAD、OPTIONS
缓存和源请求设置：使用缓存策略和源请求策略
缓存策略：Managed-CachingOptimized
源请求策略：Managed-CORS-S3Origin
限制查看者访问：是
可信签名者：自己

失眠测试结果呈阳性（REST 客户端）

我正在使用 Insomnia REST client 进行测试，将浏览器从等式中删除，看起来它工作正常。

我向 API 请求 return 签名 cookie，我可以在响应中看到 header:

date: Tue, 25 Aug 2020 15:09:35 GMT
x-amzn-requestid: xxx
access-control-allow-origin: https://web.mysite.com
set-cookie: CloudFront-Policy=xxx; Domain=mysite.com; Path=/users/; HttpOnly; Secure
set-cookie: CloudFront-Key-Pair-Id=xxx; Domain=mysite.com; Path=/users/; HttpOnly; Secure
set-cookie: CloudFront-Signature=xxx; Domain=mysite.com; Path=/users/; HttpOnly; Secure
x-amz-apigw-id: xxx
vary: Origin
x-powered-by: Express
x-amzn-trace-id: Root=xxx;Sampled=1
access-control-allow-credentials: true
x-cache: Miss from cloudfront
via: 1.1 xxx.cloudfront.net (CloudFront)
x-amz-cf-pop: ORD52-C1
x-amz-cf-id: xxx

并且 Insomnia 将 cookie 存储在客户端中。然后我对文件 https://files.mysite.com/users/xx/xx.mp3 发出 GET 请求。我得到 200 响应和文件的二进制数据，没问题。 header 显示 cookie 已正确发送：

> GET /users/9dbb70d7-3d17-4215-8966-49815e461dee/audio/d76bb13d-0e1d-45dc-b7e5-9cb8fb6dee1a/workfile.mp3 HTTP/1.1
> Host: files.mysite.com
> User-Agent: insomnia/2020.3.3
> Cookie: CloudFront-Key-Pair-Id=xxx; CloudFront-Signature=xxx; CloudFront-Policy=xxx
> Origin: https://web.mysite.com
> Accept: */*

太棒了！所以理论上，这应该有效。

实际浏览器结果

下面是网络应用程序中发生的情况。我进行身份验证，我看到 API 请求发出以获取已签名的 cookie：

GET https://api.mysite.com/private/get-signed-cookie

{
  "Response Headers (1.373 KB)": {
    "headers": [
      {
        "name": "access-control-allow-credentials",
        "value": "true"
      },
      {
        "name": "access-control-allow-origin",
        "value": "https://web.mysite.com"
      },
      {
        "name": "date",
        "value": "Tue, 25 Aug 2020 15:16:28 GMT"
      },
      {
        "name": "set-cookie",
        "value": "CloudFront-Policy=xxx; Domain=mysite.com; Path=/users/; HttpOnly; Secure"
      },
      {
        "name": "set-cookie",
        "value": "CloudFront-Key-Pair-Id=xxx; Domain=mysite.com; Path=/users/; HttpOnly; Secure"
      },
      {
        "name": "set-cookie",
        "value": "CloudFront-Signature=xxx; Domain=mysite.com; Path=/users/; HttpOnly; Secure"
      },
      {
        "name": "vary",
        "value": "Origin"
      },
      {
        "name": "via",
        "value": "1.1 xxx.cloudfront.net (CloudFront)"
      },
      {
        "name": "x-amz-apigw-id",
        "value": "xxx"
      },
      {
        "name": "x-amz-cf-id",
        "value": "xxx"
      },
      {
        "name": "x-amz-cf-pop",
        "value": "ORD52-C1"
      },
      {
        "name": "x-amzn-requestid",
        "value": "xxx"
      },
      {
        "name": "x-amzn-trace-id",
        "value": "xxx"
      },
      {
        "name": "x-cache",
        "value": "Miss from cloudfront"
      },
      {
        "name": "X-Firefox-Spdy",
        "value": "h2"
      },
      {
        "name": "x-powered-by",
        "value": "Express"
      }
    ]
  }
}

此时，值得注意的是我在 Firefox Dev Tools 中看不到 cookie！我只能假设它们没有被存储。

当浏览器尝试通过 CloudFront 分发访问某些内容时：

GET https://files.mysite.com/users/9dbb70d7-3d17-4215-8966-49815e461dee/audio/d76bb13d-0e1d-45dc-b7e5-9cb8fb6dee1a/workfile.mp3

我收到 403 Forbidden 回复 body:

<?xml version="1.0" encoding="UTF-8"?><Error><Code>MissingKey</Code><Message>Missing Key-Pair-Id query parameter or cookie value</Message></Error>

果然，请求 header 没有显示 Cookie 被发送的迹象：

{
  "Request Headers (535 B)": {
    "headers": [
      {
        "name": "Accept",
        "value": "audio/webm,audio/ogg,audio/wav,audio/*;q=0.9,application/ogg;q=0.7,video/*;q=0.6,*/*;q=0.5"
      },
      {
        "name": "Accept-Encoding",
        "value": "gzip, deflate, br"
      },
      {
        "name": "Accept-Language",
        "value": "en-US,en;q=0.5"
      },
      {
        "name": "Connection",
        "value": "keep-alive"
      },
      {
        "name": "Host",
        "value": "files.mysite.com"
      },
      {
        "name": "Origin",
        "value": "https://web.mysite.com"
      },
      {
        "name": "Range",
        "value": "bytes=0-"
      },
      {
        "name": "Referer",
        "value": "https://web.mysite.com/dashboard"
      },
      {
        "name": "User-Agent",
        "value": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:79.0) Gecko/20100101 Firefox/79.0"
      }
    ]
  }
}

我在这里错过了什么？所有相互交谈的 URL 都具有相同的域（API 发布 cookie、Web 客户端、CloudFront 分发）。 Express API 具有正确的 CORS 配置，我很确定：

router.use(
  cors({
    origin(origin, callback) {
      if (/\.mysite\.com$/.test(origin)) {
        callback(null, true);
      } else {
        callback(new Error('Not allowed by CORS'));
      }
    },
    credentials: true,
  }),
);

我完全被难住了。如有任何帮助，我们将不胜感激！

Answer 1

好的，解决这个问题需要很多步骤。我可能没有完全把它们都记下来，但这就是我 changed/fixed:

Client-Side 问题

客户端使用 axios 获取二进制文件，并使用 HTMLAudioElement 获取音频文件。两者都必须更新才能发送凭据 (cookie)。对于 axios 调用，它是 axios.get(url, { withCredentials: true })，对于 HTMLAudioElement，它是 audioEl.crossOrigin = 'use-credentials'。现在这两个请求都会将 HTTP cookie 发送到 CloudFront。

API 网关更改

必须在此处设置一些 CORS 内容。对于这个 post 来说太深了，但我正在使用无服务器框架来配置 API 网关，这让事情变得容易多了！在 serverless.yml 文件中，我必须进行一些更改：

          cors:
            origins:
              - https://localhost:8080
              - https://*.mysite.com
            headers:
              - Content-Type
              - X-Amz-Date
              - Authorization
              - X-Api-Key
              - X-Amz-Security-Token
              - X-Amz-User-Agent
              - x-user-id # this is my own header I pass from the web client
            allowCredentials: true

这基本上设置了 API 网关 pre-flight OPTION 端点，因此它 returns 正确的 CORS headers。它在 API 网关中创建这个智能脚本来处理多个来源：

#set($origin = $input.params("Origin"))
#if($origin == "") #set($origin = $input.params("origin")) #end
#if($origin.matches("https://localhost:8080") || $origin.matches("https://.+[.]mysite[.]com")) #set($context.responseOverride.header.Access-Control-Allow-Origin = $origin) #end

同样，这个答案太深了。但是任何使用无服务器的人都应该查看 Serverless Framework。这是一个巨大的 time-saver!

S3 配置

必须修改 S3 的 CORS 配置。对上述配置的单一更改是：

<AllowedOrigin>https://*.mysite.com</AllowedOrigin>

整个堆栈中的 over-arching 规则是，如果您使用 Access-Control-Allow-Credentials: true，则不允许的来源不能是 *。

AWS CloudFront 签名的 cookies + S3 适用于 REST 客户端应用程序，但不适用于浏览器

AWS CloudFront signed cookies + S3 works in REST client app, but not browser

cookies

httpcookie

amazon-web-services

cors

amazon-cloudfront

目标

S3 和 CloudFront 配置

S3 配置

CloudFront 分发

失眠测试结果呈阳性（REST 客户端）

实际浏览器结果

Client-Side 问题

API 网关更改

S3 配置