在 K8s 上使用单个 LoadBalancer 公开多个 TCP/UDP 服务

Exposing multiple TCP/UDP services using a single LoadBalancer on K8s

试图找出如何在 Kubernetes 上使用单个 LoadBalancer 公开多个 TCP/UDP 服务。假设服务是 ftpsrv1.com 和 ftpsrv2.com,每个服务都在端口 21 提供服务。

以下是我能想到的选项及其局限性:

任何意见将不胜感激。

关于"Nodeport : Want to use a port outside the 30000-32767 range."

您可以通过服务的 yaml 文件中的 "nodePort" 设置为每个服务实现手动 select 服务端口,或者设置下面指示的标志,以便您的自定义端口范围是为所有服务实现自动分配。

来自文档: "If you set the type field to NodePort, the Kubernetes control plane allocates a port from a range specified by --service-node-port-range flag (default: 30000-32767)."services

实际上 possible 使用 NGINX Ingress 来完成。

Ingress 不支持 TCP 或 UDP 服务。出于这个原因,这个 Ingress 控制器使用标志 --tcp-services-configmap--udp-services-configmap 来指向现有的配置映射,其中键是要使用的外部端口,值表示要使用格式公开的服务:<namespace/service name>:<service port>:[PROXY]:[PROXY].

This guide 描述了如何使用 minikube 实现它,但在本地 kubernetes 上执行此操作是不同的,需要更多步骤。

缺乏描述如何在非 minikube 系统上完成它的文档,这就是为什么我决定完成这里的所有步骤。本指南假设您有一个没有安装 NGINX Ingress 的全新集群。

我正在使用 GKE 集群,所有命令都是 运行 来自我的 Linux 工作站。它也可以在裸机 K8S 集群上完成。

创建示例应用程序和服务

在这里,我们将创建应用程序,稍后使用我们的入口公开它。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: redis-deployment
  namespace: default
  labels:
    app: redis
spec:
  replicas: 1
  selector:
    matchLabels:
      app: redis
  template:
    metadata:
      labels:
        app: redis
    spec:
      containers:
      - image: redis
        imagePullPolicy: Always
        name: redis
        ports:
        - containerPort: 6379
          protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
  name: redis-service
  namespace: default
spec:
  selector:
    app: redis
  type: ClusterIP
  ports:
    - name: tcp-port
      port: 6379
      targetPort: 6379
      protocol: TCP
---      
apiVersion: v1
kind: Service
metadata:
  name: redis-service2
  namespace: default
spec:
  selector:
    app: redis
  type: ClusterIP
  ports:
    - name: tcp-port
      port: 6380
      targetPort: 6379
      protocol: TCP      

请注意,我们正在为同一个应用程序创建 2 个不同的服务。这仅作为概念证明。我不想向后者展示许多端口可以仅使用一个 Ingress 进行映射。

正在使用 Helm 安装 NGINX Ingress:

安装 helm 3:

$ curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash

添加 NGINX Ingress 存储库:

$ helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx

在 kube-system 命名空间上安装 NGINX Ingress:

$ helm install -n kube-system ingress-nginx ingress-nginx/ingress-nginx

准备我们新的 NGINX 入口控制器部署

我们必须在 spec.template.spec.containers.args 下添加以下行:

        - --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
        - --udp-services-configmap=$(POD_NAMESPACE)/udp-services

所以我们必须使用以下命令进行编辑:

$ kubectl edit deployments -n kube-system ingress-nginx-controller

让它看起来像这样:

...
    spec:
      containers:
      - args:
        - /nginx-ingress-controller
        - --publish-service=kube-system/ingress-nginx-controller
        - --election-id=ingress-controller-leader
        - --ingress-class=nginx
        - --configmap=kube-system/ingress-nginx-controller
        - --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
        - --udp-services-configmap=$(POD_NAMESPACE)/udp-services
        - --validating-webhook=:8443
        - --validating-webhook-certificate=/usr/local/certificates/cert
        - --validating-webhook-key=/usr/local/certificates/key
...

创建 tcp/udp 服务配置映射

apiVersion: v1
kind: ConfigMap
metadata:
  name: tcp-services
  namespace: kube-system
apiVersion: v1
kind: ConfigMap
metadata:
  name: udp-services
  namespace: kube-system

由于这些 configmaps 是集中的并且可能包含配置,所以最好我们只修补它们而不是在每次添加服务时完全覆盖它们:

$ kubectl patch configmap tcp-services -n kube-system --patch '{"data":{"6379":"default/redis-service:6379"}}'
$ kubectl patch configmap tcp-services -n kube-system --patch '{"data":{"6380":"default/redis-service2:6380"}}'

其中:

  • 6379 : 你的服务应该从 minikube 虚拟机外部监听的端口
  • default : 安装您的服务的命名空间
  • redis-service : 服务名称

我们可以使用以下命令验证我们的资源是否已修补:

$ kubectl get configmap tcp-services -n kube-system -o yaml

apiVersion: v1
data:
  "6379": default/redis-service:6379
  "6380": default/redis-service2:6380
kind: ConfigMap
metadata:
  annotations:
    kubectl.kubernetes.io/last-applied-configuration: |
      {"apiVersion":"v1","kind":"ConfigMap","metadata":{"annotations":{},"name":"tcp-services","namespace":"kube-system"}}
  creationTimestamp: "2020-04-27T14:40:41Z"
  name: tcp-services
  namespace: kube-system
  resourceVersion: "7437"
  selfLink: /api/v1/namespaces/kube-system/configmaps/tcp-services
  uid: 11b01605-8895-11ea-b40b-42010a9a0050

您需要验证的唯一值是 data 属性 下有一个如下所示的值:

  "6379": default/redis-service:6379
  "6380": default/redis-service2:6380

向 NGINX 入口控制器部署添加端口

我们需要修补我们的 nginx 入口控制器,以便它侦听端口 6379/6380 并将流量路由到您的服务。

spec:
  template:
    spec:
      containers:
      - name: controller
        ports:
         - containerPort: 6379
           hostPort: 6379
         - containerPort: 6380
           hostPort: 6380 

创建一个名为 nginx-ingress-controller-patch.yaml 的文件并粘贴上面的内容。

接下来使用以下命令应用更改:

$ kubectl patch deployment ingress-nginx-controller -n kube-system --patch "$(cat nginx-ingress-controller-patch.yaml)"

向 NGINX 入口控制器服务添加端口

与为 minikube 提供的解决方案不同,我们必须修补我们的 NGINX 入口控制器服务,因为它负责公开这些端口。

spec:
  ports:
  - nodePort: 31100
    port: 6379
    name: redis
  - nodePort: 31101
    port: 6380
    name: redis2

创建一个名为 nginx-ingress-svc-controller-patch.yaml 的文件并粘贴上面的内容。

接下来使用以下命令应用更改:

$ kubectl patch service ingress-nginx-controller -n kube-system --patch "$(cat nginx-ingress-svc-controller-patch.yaml)"

查看我们的服务

$ kubectl get service -n kube-system ingress-nginx-controller
NAME                       TYPE           CLUSTER-IP      EXTERNAL-IP    PORT(S)                                                    AGE
ingress-nginx-controller   LoadBalancer   10.15.251.203   34.89.108.48   6379:31100/TCP,6380:31101/TCP,80:30752/TCP,443:30268/TCP   38m

请注意我们的 ingress-nginx-controller 正在侦听端口 6379/6380。

测试您是否可以通过以下命令使用 telnet 访问您的服务:

$ telnet 34.89.108.48 6379

您应该看到以下输出:

Trying 34.89.108.48...
Connected to 34.89.108.48.
Escape character is '^]'.

要退出 telnet,请同时输入 Ctrl 键和 ]。然后键入 quit 并按回车键。

我们还可以测试6380端口:

$ telnet 34.89.108.48 6380
Trying 34.89.108.48...
Connected to 34.89.108.48.
Escape character is '^]'.

如果您无法连接,请查看上述步骤。

相关文章

@mWatney 的回答很棒。但是,它不适用于 UDP,因为您不能使用带有 ingress-nginx 的混合协议的负载均衡器。

要解决这个问题,您实际上需要添加一个专用于 UDP 服务的新负载均衡器,以及另一个入口控制器部署。

这就是在遵循@mWatney 的所有步骤后对我有用的方法(虽然我没有使用 kube-system 命名空间,只是坚持使用 ingress-nginx):

  1. 应用此部署

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      labels:
        helm.sh/chart: ingress-nginx-3.10.1
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/instance: ingress-nginx
        app.kubernetes.io/version: 0.41.2
        app.kubernetes.io/managed-by: Helm
        app.kubernetes.io/component: controller
      name: ingress-nginx-udp-controller
      namespace: ingress-nginx
    spec:
      selector:
        matchLabels:
          app.kubernetes.io/name: ingress-nginx
          app.kubernetes.io/instance: ingress-nginx
          app.kubernetes.io/component: udp-controller
      revisionHistoryLimit: 10
      minReadySeconds: 0
      template:
        metadata:
          labels:
            app.kubernetes.io/name: ingress-nginx
            app.kubernetes.io/instance: ingress-nginx
            app.kubernetes.io/component: udp-controller
        spec:
          dnsPolicy: ClusterFirst
          containers:
            - name: udp-controller
              image: k8s.gcr.io/ingress-nginx/controller:v0.41.2@sha256:1f4f402b9c14f3ae92b11ada1dfe9893a88f0faeb0b2f4b903e2c67a0c3bf0de
              imagePullPolicy: IfNotPresent
              lifecycle:
                preStop:
                  exec:
                    command:
                      - /wait-shutdown
              args:
                - /nginx-ingress-controller
                - --publish-service=$(POD_NAMESPACE)/ingress-nginx-udp-controller
                - --election-id=ingress-controller-leader
                - --ingress-class=nginx
                - --configmap=$(POD_NAMESPACE)/ingress-nginx-controller
                - --udp-services-configmap=$(POD_NAMESPACE)/udp-services
                - --validating-webhook=:8443
                - --validating-webhook-certificate=/usr/local/certificates/cert
                - --validating-webhook-key=/usr/local/certificates/key
              securityContext:
                capabilities:
                  drop:
                    - ALL
                  add:
                    - NET_BIND_SERVICE
                runAsUser: 101
                allowPrivilegeEscalation: true
              env:
                - name: POD_NAME
                  valueFrom:
                    fieldRef:
                      fieldPath: metadata.name
                - name: POD_NAMESPACE
                  valueFrom:
                    fieldRef:
                      fieldPath: metadata.namespace
                - name: LD_PRELOAD
                  value: /usr/local/lib/libmimalloc.so
              livenessProbe:
                httpGet:
                  path: /healthz
                  port: 10254
                  scheme: HTTP
                initialDelaySeconds: 10
                periodSeconds: 10
                timeoutSeconds: 1
                successThreshold: 1
                failureThreshold: 5
              readinessProbe:
                httpGet:
                  path: /healthz
                  port: 10254
                  scheme: HTTP
                initialDelaySeconds: 10
                periodSeconds: 10
                timeoutSeconds: 1
                successThreshold: 1
                failureThreshold: 3
              volumeMounts:
                - name: webhook-cert
                  mountPath: /usr/local/certificates/
                  readOnly: true
              resources:
                requests:
                  cpu: 100m
                  memory: 90Mi
          nodeSelector:
            kubernetes.io/os: linux
          serviceAccountName: ingress-nginx
          terminationGracePeriodSeconds: 300
          volumes:
            - name: webhook-cert
              secret:
                secretName: ingress-nginx-admission
 
  1. 应用此服务


    apiVersion: v1
    kind: Service
    metadata:
      labels:
        helm.sh/chart: ingress-nginx-3.10.1
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/instance: ingress-nginx
        app.kubernetes.io/version: 0.41.2
        app.kubernetes.io/managed-by: Helm
        app.kubernetes.io/component: udp-controller
      name: ingress-nginx-udp-controller
      namespace: ingress-nginx
    spec:
      type: LoadBalancer
      externalTrafficPolicy: Local
      ports:
        - name: udp
          port: 5004
          protocol: UDP
          targetPort: 5004
      selector:
        app.kubernetes.io/name: ingress-nginx
        app.kubernetes.io/instance: ingress-nginx
        app.kubernetes.io/component: udp-controller

运行 应该给你类似的东西 kubectl get services -n ingress-nginx


NAME                                 TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx-controller             LoadBalancer   10.103.60.70     localhost     80:30885/TCP,443:30370/TCP   13m
ingress-nginx-controller-admission   ClusterIP      10.111.245.103           443/TCP                      14d
ingress-nginx-udp-controller         LoadBalancer   10.111.249.180   localhost     5004:30565/UDP               9m48s

要测试它是否正常工作,您可以使用 netcat 访问您的 udp 服务器,例如 nc -u -v localhost 5004

接受的答案非常有效。但无需手动编辑和修补配置,Helm 可以为您完成。

下载 ingress-nginx 的默认 values.yaml 文件。
变化

tcp: {}
#  8080: "default/example-tcp-svc:9000"

tcp:
  6379: default/redis-service:6379
  6380: default/redis-service:6380

以下命令将安装或更新(如果已安装)您的 nginx 控制器,创建所需的配置映射并更新配置字段:

helm upgrade --install -n kube-system ingress-nginx ingress-nginx/ingress-nginx --values values.yaml --wait