使用 NGinx、LXD/LXC 和 Kong 的代理协议

Question

我有一个 Web 应用程序位于 Linux 容器中，LXD 版本是 LXD 3.13

Web 流量进入主机 vm (Ubuntu 16.04) 并使用 NGinx 推送到 LXC，nginx 版本为 1.10.3

在容器内，我让 Kong 接收流量，并将其转发到我的应用程序。 Kong 是 1.1.2 版本。容器本身也是Ubuntu16.04.

互联网 -> NGINX -> LXD -> KONG（运行 NGINX） -> 我的应用程序

我的目标是让 Kong 终止 SSL 流量并提供白名单 IP-restrictions。 没有白名单我一切正常。但我的问题是 Kong 看到的是 LXD Base IP，而不是调用 NGinx 的原始客户端 IP。我想我需要使用 "Proxy Protocol" 配置来解决这个问题，但如果我有其他选择，我会洗耳恭听。

我的 NGinx 配置非常简单。我必须使用流而不是 html，这样我就不必终止 SSL。这意味着我无法设置 X-Real-IP header，我认为这是一个更简单的解决方案。所以我尝试使用代理协议。

stream {
    server {
        listen 80;
        proxy_pass 10.214.23.104:8080;
        proxy_protocol on;
    }

    server {
        listen 443;
        proxy_pass 10.214.23.104:8443;
        proxy_protocol on;
    }
}

10.214.23.104 在这种情况下只是我的 LXD 为这个容器分配的 IP。 8080 和 8443 分别是 http/https 流量的 Kong 端口。当我尝试添加 'proxy_protocol on;' 行而不是看到来自 Kong 的错误 IP 响应时，我得到的是 'Unsupported or unrecognized SSL message'。 Kong 似乎没有处理它。

在这种情况下，这是我的 NGinx 错误日志：

epoll: fd:8 ev:0
001 d:00007F170E93E0F8
post event 0000558DBC67B8E0
timer delta: 300041
posted event 0000558DBC67B8E0
delete posted event 0000558DBC67B8E0
accept on 0.0.0.0:443, ready: 0
posix_memalign: 0000558DBC650650:256 @16
***.***.***.***:52412 fd:12
*5 client ***.***.***.***:52412 connected to 0.0.0.0:443
*5 tcp_nodelay
*5 posix_memalign: 0000558DBC650760:256 @16
*5 proxy connection handler
*5 malloc: 0000558DBC650870:328
*5 malloc: 0000558DBC654C00:16384
*5 stream proxy send PROXY protocol header
*5 get rr peer, try: 1
*5 stream socket 13
*5 epoll add connection: fd:13 ev:80002005
*5 connect to 10.214.23.104:8443, fd:13 #6
*5 proxy connect: -2
*5 event timer add: 13: 60000:1560459025106
worker cycle
accept mutex locked
epoll timer: 60000
epoll: fd:13 ev:0004 d:00007F170E93E3B0
*5 post event 0000558DBC68DA10
timer delta: 0
posted event 0000558DBC68DA10
*5 delete posted event 0000558DBC68DA10
*5 event timer del: 13: 1560459025106
*5 stream proxy connect upstream
*5 tcp_nodelay
*5 proxy 10.214.23.1:50946 connected to 10.214.23.104:8443
*5 malloc: 0000558DBC69F8A0:16384
*5 send: fd:13 44 of 44
*5 epoll add event: fd:12 op:1 ev:80002001
*5 event timer add: 12: 600000:1560459565106
worker cycle
accept mutex locked
epoll timer: 600000
epoll: fd:13 ev:0005 d:00007F170E93E3B0
*5 post event 0000558DBC67BA00
*5 post event 0000558DBC68DA10
timer delta: 1
posted event 0000558DBC67BA00
*5 delete posted event 0000558DBC67BA00
*5 recv: fd:13 177 of 16384
*5 send: fd:12 177 of 177
*5 recv: fd:13 0 of 16384
*5 upstream disconnected, bytes from/to client:0/177, bytes from/to upstream:177/44
*5 finalize stream proxy: 0
*5 free rr peer 1 0
*5 close stream proxy upstream connection: 13
*5 delete posted event 0000558DBC68DA10
*5 reusable connection: 0
*5 close stream connection: 12
*5 event timer del: 12: 1560459565106
*5 reusable connection: 0
*5 free: 0000558DBC69F8A0
*5 free: 0000558DBC654C00
*5 free: 0000558DBC650870
*5 free: 0000558DBC650650, unused: 0
*5 free: 0000558DBC650760, unused: 40

我还不太确定如何对 LXD 进行故障排除。我的容器的 lxc.log 文件中没有任何内容。

在 Kong 方面，我配置了日志记录和 IP-Restriction 插件，并为适当的路由设置了 SSL 证书。我已将 real_ip_header 添加为 proxy_protocol；我的理解是，这就是使用代理协议时读取 IP 所需的全部内容。我对 Kong 的配置如下所示：

trusted_ips = 0.0.0.0/0
admin_listen = 0.0.0.0:8001
proxy_listen = 0.0.0.0:8080,  0.0.0.0:8443 ssl
...db stuff...
plugins = bundled,session
real_ip_header = proxy_protocol

Kong 的访问日志看起来确实写出它收到了一个调用，但它没有处理它，并且错误日志或该服务的日志插件日志中没有任何内容。

10.214.23.1 - - [14/Jun/2019:05:23:46 -0900] "PROXY TCP4 72.38.194.90 10.1.1.4 37604 443" 400 12 "-" "-"

Answer 1

我意识到，如果我已经指定了 proxy_listen 配置，则不会处理 real_ip_header 的 proxy_protocol 值。由于冲突，我们之前更改了监听端口，所以我不能使用默认的 proxy_listen 值。

所以我的解决方案是将 proxy_listen 行更改为：

proxy_listen = 0.0.0.0:8080 proxy_protocol,  0.0.0.0:8443 ssl proxy_protocol

仍然需要 real_ip_header = proxy_protocol 行。

使用 NGinx、LXD/LXC 和 Kong 的代理协议

Proxy Protocol with NGinx, LXD/LXC and Kong

ssl

nginx

lxc

kong

lxd