Nginx/SpringBoot/Kubernetes - X-Forwarded-For Header 对于客户端 IP

Question

对此我有点缺乏经验，所以寻求一些帮助，了解我如何做到这一点！抱歉，如果不清楚我要做什么。

Objective

我有一个基于位置的 Angular front-end。我希望能够通过使用用户 public IP 并使用地理定位服务给我他们来自的 city/region。

更新#1

从下面的一个答案中，我现在在 SpringBoot 中获得了一个 IP 地址，但不幸的是它是 DigitalOcean droplet 的 IP 地址。

当前设置

我正在使用 Spring 安全自定义过滤器来执行此操作。它位于 Angular 应用程序的后面。

我希望我能够使用 HttpServletRequest request.getRemoteAddr() 获取 IP 地址，但我发现一旦 SpringBoot 应用程序部署在 Kubernetes 上，它位于一个NGINX 代理，getRemoteAddr() 给了我 Digital Ocean droplet IP。

因此，我希望能够将此客户端 IP 地址转发为 X-Forwarded-For header，甚至是自定义 X-Client-IP header .如果我将这些操作作为 Spring 安全过滤器的一部分执行，我将如何处理？有可能吗？

Nginx 配置

location / {
    proxy_set_header    Host               $host;
    proxy_set_header    X-Client-IP        $proxy_add_x_forwarded_for;
    proxy_set_header    X-Real-IP          $remote_addr;
    proxy_set_header    X-Forwarded-For    $proxy_add_x_forwarded_for;
    proxy_set_header    X-Forwarded-Host   $host;
    proxy_set_header    X-Forwarded-Server $host;
    proxy_set_header    X-Forwarded-Port   $server_port;
    proxy_set_header    X-Forwarded-Proto  $scheme;

    rewrite .* /index.html break;
  }

Spring 引导过滤器

private static String getClientIpAddr(HttpServletRequest request) {
        String ip = request.getHeader("X-Forwarded-For");

        if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getHeader("Proxy-Client-IP");
        }
        if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getHeader("WL-Proxy-Client-IP");
        }
        if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getHeader("HTTP_CLIENT_IP");
        }
        if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getHeader("HTTP_X_FORWARDED_FOR");
        }
        if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getHeader("X-Real-IP");
        }
        if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getHeader("X-Client-IP");
        }
        if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getRemoteAddr();
        }

        return ip;
    }

除 request.getRemoteAddr()（return 负载均衡器 IP）外，所有这些 return 均无效。

Kubernetes 设置

kind: Deployment
apiVersion: apps/v1
metadata:
  name: example-webapp-frontend-deployment
spec:
  revisionHistoryLimit: 3
  minReadySeconds: 30
  replicas: 1
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
  selector:
    matchLabels:
      app: example-webapp-frontend
  template:
    metadata:
      labels:
        app: example-webapp-frontend
    spec:
      restartPolicy: Always
      containers:
        - name: example-webapp-frontend
          image: docker-example/example-webapp-frontend:latest
          imagePullPolicy: Always
          ports:
            - containerPort: 80
      imagePullSecrets:
        - name: docker-creds

---

apiVersion: v1
kind: Service
metadata:
  name: example-webapp-frontend-service
spec:
  selector:
    app: example-webapp-frontend
  ports:
    - protocol: TCP
      targetPort: 80
      port: 80

---

kind: Deployment
apiVersion: apps/v1
metadata:
  name: example-webapp-bff-deployment
spec:
  revisionHistoryLimit: 3
  minReadySeconds: 30
  replicas: 1
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
  selector:
    matchLabels:
      app: example-webapp-bff
  template:
    metadata:
      labels:
        app: example-webapp-bff
    spec:
      restartPolicy: Always
      containers:
        - name: example-webapp-bff
          image: docker-example/example-webapp-bff:latest
          imagePullPolicy: Always
          ports:
            - containerPort: 9874
      imagePullSecrets:
        - name: docker-creds

---

apiVersion: v1
kind: Service
metadata:
  name: example-webapp-bff-service
spec:
  selector:
    app: example-webapp-bff
  ports:
    - protocol: TCP
      targetPort: 9874
      port: 9874

---

    apiVersion: extensions/v1beta1
    kind: Ingress
    metadata:
      annotations:
        kubernetes.io/ingress.class: "nginx"
        nginx.ingress.kubernetes.io/proxy-read-timeout: "12h"
        nginx.ingress.kubernetes.io/ssl-redirect: "true"
        nginx.ingress.kubernetes.io/force-ssl-redirect: "true"
      name: webapp-ingress
      namespace: default
    spec:
      tls:
        - hosts:
            - example.com
          secretName: example-tls
      rules:
        - host: example.com
          http:
            paths:
              - path: /
                backend:
                  serviceName: webapp-frontend-service
                  servicePort: 80
        - host: example.com
          http:
            paths:
              - path: /api/
                backend:
                  serviceName: webapp-bff-service
                  servicePort: 9874

Spring 启动配置

server.forward-headers-strategy=NATIVE
server.tomcat.remote-ip-header=x-forwarded-for
server.tomcat.internal-proxies="\
              10\.\d{1,3}\.\d{1,3}\.\d{1,3}|\
              192\.168\.\d{1,3}\.\d{1,3}|\
              169\.254\.\d{1,3}\.\d{1,3}|\
              127\.\d{1,3}\.\d{1,3}\.\d{1,3}|\
              172\.1[6-9]{1}\.\d{1,3}\.\d{1,3}|\
              172\.2[0-9]{1}\.\d{1,3}\.\d{1,3}|\
              172\.3[0-1]{1}\.\d{1,3}\.\d{1,3}\
              172\.3[0-1]{1}\.\d{1,3}\.\d{1,3}\
              <digital-ocean-droplet-IP>\
              <digital-ocean-droplet-IP>\
              <digital-ocean-loadbalancer-IP>"

Digital Ocean Kubernetes 配置

我有一个集群，它有一个包含两个节点的池。我有一个位于它前面的 Digital Ocean 负载均衡器。当前运行版本 1.17.5.,

谁能提供建议？提前致谢。

Answer 1

Spring boot 包含一个过滤器，可以开箱即用地与反向代理集成，并根据请求适当地设置远程地址。您可能需要配置允许的 IP 以接受 header.

这是一个例子：

server:
  forward-headers-strategy: native
  tomcat:
    remoteip:
      remote-ip-header: x-forwarded-for
      #private: 10/8, 192.168/16, 169.254/16, 127/8, 172.16/12
      internal-proxies: "\
              10\.\d{1,3}\.\d{1,3}\.\d{1,3}|\
              192\.168\.\d{1,3}\.\d{1,3}|\
              169\.254\.\d{1,3}\.\d{1,3}|\
              127\.\d{1,3}\.\d{1,3}\.\d{1,3}|\
              172\.1[6-9]{1}\.\d{1,3}\.\d{1,3}|\
              172\.2[0-9]{1}\.\d{1,3}\.\d{1,3}|\
              172\.3[0-1]{1}\.\d{1,3}\.\d{1,3}"

这是文档：https://docs.spring.io/spring-boot/docs/current/reference/html/howto.html#howto-use-behind-a-proxy-server

不过，spring 应用程序收到正确的 x-forwarded-for header 很重要。由于您在 kubernetes 上进行部署，因此您很可能正在使用 Ingress 将外部请求路由到正确的 kubernetes 服务。 Ingress 通常使用 nginx 或 traefik 实现，并且必须配置为接受 x-forwarded-for header，如果使用 L7 反向代理作为外部负载平衡器和 TLS 终止（如果适用）。

如果使用 nginx 创建配置映射来配置 nginx

use-forwarded-headers: "true"
proxy-real-ip-cidr: "10.0.0.0/8,..."

当 TLS 未在外部终止时，由于加密（L3 负载均衡器），外部负载均衡器将无法添加 headers。在那种情况下，唯一的选择是使用 PROXY 协议，该协议将元数据添加到包含真实远程地址的转发 tcp 流中。

nginx 配置示例

use-proxy-protocol: 'true'

请注意，使用代理协议和 cert-manager 管理具有外部 (kubernetes) LoadBalancer 配置的 TLS 证书时存在一些问题。（见 https://github.com/kubernetes/kubernetes/issues/66607 and https://github.com/kubernetes/ingress-nginx/issues/3996 ）

一旦所有处设置正确，远程ip应该设置正确。

在调试此类设置时，我建议从最外层开始，通过拦截（ngrep、tcpdump）或记录请求并逐步向前推进。

Nginx/SpringBoot/Kubernetes - X-Forwarded-For Header 对于客户端 IP

Nginx/SpringBoot/Kubernetes - X-Forwarded-For Header For Client IP

spring-boot

nginx

kubernetes

header

ip