当 运行 Kubernetes 通过 Docker 配置 Kube DNS
Configure Kube DNS when running Kubernetes via Docker
我正在尝试为我的团队准备一个开发环境，以便我们可以在相同（或接近相同）的环境中进行开发、暂存和部署。
通过 http://kubernetes.io/v1.0/docs/getting-started-guides/docker.html 在本地获取 Kubernetes 集群 运行 非常简单。然后我可以使用 kubectl 为我的应用程序启动 pods 和服务。
但是，每次启动时服务的 IP 地址都会不同。如果您的代码需要使用它们，这是一个问题。在 Google 容器引擎中，kube DNS 意味着您可以通过名称访问服务。这意味着使用该服务的代码可以在部署之间保持不变。
现在，我知道我们可以通过环境变量拼凑 IP 和 PORT，但我希望尽可能具有相同的设置。
所以我遵循了在不同地方找到的一些说明，包括这里和 Kubernetes 存储库中，例如 this。
对 yml 文件稍作编辑，果然 KubeDNS 启动了。
但是 kubernetes.default 上的 nslookup 失败了。 DNS 上的健康检查也失败（因为它无法解析测试查找）并且实例被关闭并重新启动。
运行 kubectl cluster-info 结果：
Kubernetes master is running at http://localhost:8080
KubeDNS is running at http://localhost:8080/api/v1/proxy/namespaces/kube-system/services/kube-dns
所以一切都很好。但是，达到该端点会导致：
{
kind: "Status",
apiVersion: "v1",
metadata: { },
status: "Failure",
message: "no endpoints available for "kube-dns"",
code: 500
}
我现在不知所措，并且知道它是显而易见的或容易修复的，因为它似乎一切正常。下面是我如何启动集群和 DNS。
# Run etcd
docker run --net=host \
-d gcr.io/google_containers/etcd:2.0.12 /usr/local/bin/etcd \
--addr=127.0.0.1:4001 --bind-addr=0.0.0.0:4001 --data-dir=/var/etcd/data
# Run the master
docker run \
--volume=/:/rootfs:ro \
--volume=/sys:/sys:ro \
--volume=/dev:/dev \
--volume=/var/lib/docker/:/var/lib/docker:ro \
--volume=/var/lib/kubelet/:/var/lib/kubelet:rw \
--volume=/var/run:/var/run:rw \
--net=host \
--privileged=true \
-d \
gcr.io/google_containers/hyperkube:v1.0.6 \
/hyperkube kubelet --containerized --hostname-override="127.0.0.1" \
--address="0.0.0.0" --api-servers=http://localhost:8080 \
--config=/etc/kubernetes/manifests \
--cluster_dns=10.0.0.10 --cluster_domain=cluster.local
# Run the service proxy
docker run -d --net=host --privileged gcr.io/google_containers/hyperkube:v1.0.6 \
/hyperkube proxy --master=http://127.0.0.1:8080 --v=2
# forward local port - after this you should be able to user kubectl locally
machine=default; ssh -i ~/.docker/machine/machines/$machine/id_rsa docker@$(docker-machine ip $machine) -L 8080:localhost:8080
所有容器启动正常，kubectl get nodes 报告正常。注意我传入了 dns 标志。
然后我用这个文件启动 DNS rc，它是 here
的编辑版本
apiVersion: v1
kind: ReplicationController
metadata:
name: kube-dns-v9
namespace: kube-system
labels:
k8s-app: kube-dns
version: v9
kubernetes.io/cluster-service: "true"
spec:
replicas: 1
selector:
k8s-app: kube-dns
version: v9
template:
metadata:
labels:
k8s-app: kube-dns
version: v9
kubernetes.io/cluster-service: "true"
spec:
containers:
- name: etcd
image: gcr.io/google_containers/etcd:2.0.9
resources:
limits:
cpu: 100m
memory: 50Mi
command:
- /usr/local/bin/etcd
- -data-dir
- /var/etcd/data
- -listen-client-urls
- http://127.0.0.1:2379,http://127.0.0.1:4001
- -advertise-client-urls
- http://127.0.0.1:2379,http://127.0.0.1:4001
- -initial-cluster-token
- skydns-etcd
volumeMounts:
- name: etcd-storage
mountPath: /var/etcd/data
- name: kube2sky
image: gcr.io/google_containers/kube2sky:1.11
resources:
limits:
cpu: 100m
memory: 50Mi
args:
# command = "/kube2sky"
- -domain=cluster.local
- name: skydns
image: gcr.io/google_containers/skydns:2015-10-13-8c72f8c
resources:
limits:
cpu: 100m
memory: 50Mi
args:
# command = "/skydns"
- -machines=http://localhost:4001
- -addr=0.0.0.0:53
- -ns-rotate=false
- -domain=cluster.local
ports:
- containerPort: 53
name: dns
protocol: UDP
- containerPort: 53
name: dns-tcp
protocol: TCP
livenessProbe:
httpGet:
path: /healthz
port: 8080
scheme: HTTP
initialDelaySeconds: 30
timeoutSeconds: 5
readinessProbe:
httpGet:
path: /healthz
port: 8080
scheme: HTTP
initialDelaySeconds: 1
timeoutSeconds: 5
- name: healthz
image: gcr.io/google_containers/exechealthz:1.0
resources:
limits:
cpu: 10m
memory: 20Mi
args:
- -cmd=nslookup kubernetes.default.svc.cluster.local 127.0.0.1 >/dev/null
- -port=8080
ports:
- containerPort: 8080
protocol: TCP
volumes:
- name: etcd-storage
emptyDir: {}
dnsPolicy: Default # Don't use cluster DNS.
然后启动服务（再次根据repo中的文件）
apiVersion: v1
kind: Service
metadata:
name: kube-dns
namespace: kube-system
labels:
k8s-app: kube-dns
kubernetes.io/cluster-service: "true"
kubernetes.io/name: "KubeDNS"
spec:
selector:
k8s-app: kube-dns
clusterIP: 10.0.0.10
ports:
- name: dns
port: 53
protocol: UDP
- name: dns-tcp
port: 53
protocol: TCP
我根据另一个SO问题做出假设，clusterIP是我传递给master的值，而不是主机的ip。我确信它必须是我错过的明显或简单的东西。有人可以帮忙吗？
谢谢！
更新
我在 GitHub 仓库中发现 this 已关闭的问题。看来我也有同样的问题。
我已经添加到 GitHub 的主题中，并尝试了很多方法但仍然没有进展。我尝试使用不同的图像，但它们有不同的错误（或者相同的错误以不同的方式表示自己，我无法分辨）。
我发现与此相关的所有内容都建议 IP 限制或 firewall/security 设置。所以我决定从容器本身卷曲 api。
docker exec 49705c38846a echo $(curl http://0.0.0.0:8080/api/v1/services?labels=)
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 908 100 908 0 0 314k 0 --:--:-- --:--:-- --:--:-- 443k
{ "kind": "ServiceList", "apiVersion": "v1", "metadata": { "selfLink": "/api/v1/services", "resourceVersion": "948" }, "items": [ { "metadata": { "name": "kubernetes", "namespace": "default", "selfLink": "/api/v1/namespaces/default/services/kubernetes", "uid": "369a9307-796e-11e5-87de-7a0704d1fdad", "resourceVersion": "6", "creationTimestamp": "2015-10-23T10:09:57Z", "labels": { "component": "apiserver", "provider": "kubernetes" } }, "spec": { "ports": [ { "protocol": "TCP", "port": 443, "targetPort": 443, "nodePort": 0 } ], "clusterIP": "10.0.0.1", "type": "ClusterIP", "sessionAffinity": "None" }, "status": { "loadBalancer": {} } } ] }
似乎是对我的有效回应，那么为什么 JSON 来自 kube2Sky 的解析错误！？
Failed to list *api.Service: couldn't get version/kind; json parse error: invalid character '<' looking for beginning of value
Failed to list *api.Endpoints: couldn't get version/kind; json parse error: invalid character '<' looking for beginning of value
如果您没有看到任何端点，那么很可能您的 skydns pod 没有工作。试试kubectl get pods --all-namespaces看看状态如何。
clusterIP 可以是任何未使用的 IP 地址。它将用于连接到 DNS 服务。应该不是主机IP。
问题在于网络和 kube2sky 无法访问 API，因此无法获得服务。
更改 docker 运行 的主从，
--config=/etc/kubernetes/manifests
到
--config=/etc/kubernetes/manifests-multi
然后在kube2sky的skydns-rc.yaml中设置域名，设置主机IP地址。
- -kube_master_url=http://192.168.99.100:8080 #<- your docker machine IP
没有 manifests-multi，无法访问主机 IP。
这是一个简单的更改，但需要一些时间才能找到。
我已经在 GitHub 上创建了一个简单的设置，并将维护它，这样人们就不必为了建立本地开发环境和 运行 宁而经历这种痛苦。
我正在尝试为我的团队准备一个开发环境，以便我们可以在相同（或接近相同）的环境中进行开发、暂存和部署。
通过 http://kubernetes.io/v1.0/docs/getting-started-guides/docker.html 在本地获取 Kubernetes 集群 运行 非常简单。然后我可以使用 kubectl 为我的应用程序启动 pods 和服务。
但是，每次启动时服务的 IP 地址都会不同。如果您的代码需要使用它们，这是一个问题。在 Google 容器引擎中，kube DNS 意味着您可以通过名称访问服务。这意味着使用该服务的代码可以在部署之间保持不变。
现在，我知道我们可以通过环境变量拼凑 IP 和 PORT，但我希望尽可能具有相同的设置。
所以我遵循了在不同地方找到的一些说明，包括这里和 Kubernetes 存储库中，例如 this。
对 yml 文件稍作编辑，果然 KubeDNS 启动了。
但是 kubernetes.default 上的 nslookup 失败了。 DNS 上的健康检查也失败（因为它无法解析测试查找）并且实例被关闭并重新启动。
运行 kubectl cluster-info 结果：
Kubernetes master is running at http://localhost:8080
KubeDNS is running at http://localhost:8080/api/v1/proxy/namespaces/kube-system/services/kube-dns
所以一切都很好。但是，达到该端点会导致：
{
kind: "Status",
apiVersion: "v1",
metadata: { },
status: "Failure",
message: "no endpoints available for "kube-dns"",
code: 500
}
我现在不知所措，并且知道它是显而易见的或容易修复的，因为它似乎一切正常。下面是我如何启动集群和 DNS。
# Run etcd
docker run --net=host \
-d gcr.io/google_containers/etcd:2.0.12 /usr/local/bin/etcd \
--addr=127.0.0.1:4001 --bind-addr=0.0.0.0:4001 --data-dir=/var/etcd/data
# Run the master
docker run \
--volume=/:/rootfs:ro \
--volume=/sys:/sys:ro \
--volume=/dev:/dev \
--volume=/var/lib/docker/:/var/lib/docker:ro \
--volume=/var/lib/kubelet/:/var/lib/kubelet:rw \
--volume=/var/run:/var/run:rw \
--net=host \
--privileged=true \
-d \
gcr.io/google_containers/hyperkube:v1.0.6 \
/hyperkube kubelet --containerized --hostname-override="127.0.0.1" \
--address="0.0.0.0" --api-servers=http://localhost:8080 \
--config=/etc/kubernetes/manifests \
--cluster_dns=10.0.0.10 --cluster_domain=cluster.local
# Run the service proxy
docker run -d --net=host --privileged gcr.io/google_containers/hyperkube:v1.0.6 \
/hyperkube proxy --master=http://127.0.0.1:8080 --v=2
# forward local port - after this you should be able to user kubectl locally
machine=default; ssh -i ~/.docker/machine/machines/$machine/id_rsa docker@$(docker-machine ip $machine) -L 8080:localhost:8080
所有容器启动正常，kubectl get nodes 报告正常。注意我传入了 dns 标志。
然后我用这个文件启动 DNS rc，它是 here
的编辑版本apiVersion: v1
kind: ReplicationController
metadata:
name: kube-dns-v9
namespace: kube-system
labels:
k8s-app: kube-dns
version: v9
kubernetes.io/cluster-service: "true"
spec:
replicas: 1
selector:
k8s-app: kube-dns
version: v9
template:
metadata:
labels:
k8s-app: kube-dns
version: v9
kubernetes.io/cluster-service: "true"
spec:
containers:
- name: etcd
image: gcr.io/google_containers/etcd:2.0.9
resources:
limits:
cpu: 100m
memory: 50Mi
command:
- /usr/local/bin/etcd
- -data-dir
- /var/etcd/data
- -listen-client-urls
- http://127.0.0.1:2379,http://127.0.0.1:4001
- -advertise-client-urls
- http://127.0.0.1:2379,http://127.0.0.1:4001
- -initial-cluster-token
- skydns-etcd
volumeMounts:
- name: etcd-storage
mountPath: /var/etcd/data
- name: kube2sky
image: gcr.io/google_containers/kube2sky:1.11
resources:
limits:
cpu: 100m
memory: 50Mi
args:
# command = "/kube2sky"
- -domain=cluster.local
- name: skydns
image: gcr.io/google_containers/skydns:2015-10-13-8c72f8c
resources:
limits:
cpu: 100m
memory: 50Mi
args:
# command = "/skydns"
- -machines=http://localhost:4001
- -addr=0.0.0.0:53
- -ns-rotate=false
- -domain=cluster.local
ports:
- containerPort: 53
name: dns
protocol: UDP
- containerPort: 53
name: dns-tcp
protocol: TCP
livenessProbe:
httpGet:
path: /healthz
port: 8080
scheme: HTTP
initialDelaySeconds: 30
timeoutSeconds: 5
readinessProbe:
httpGet:
path: /healthz
port: 8080
scheme: HTTP
initialDelaySeconds: 1
timeoutSeconds: 5
- name: healthz
image: gcr.io/google_containers/exechealthz:1.0
resources:
limits:
cpu: 10m
memory: 20Mi
args:
- -cmd=nslookup kubernetes.default.svc.cluster.local 127.0.0.1 >/dev/null
- -port=8080
ports:
- containerPort: 8080
protocol: TCP
volumes:
- name: etcd-storage
emptyDir: {}
dnsPolicy: Default # Don't use cluster DNS.
然后启动服务（再次根据repo中的文件）
apiVersion: v1
kind: Service
metadata:
name: kube-dns
namespace: kube-system
labels:
k8s-app: kube-dns
kubernetes.io/cluster-service: "true"
kubernetes.io/name: "KubeDNS"
spec:
selector:
k8s-app: kube-dns
clusterIP: 10.0.0.10
ports:
- name: dns
port: 53
protocol: UDP
- name: dns-tcp
port: 53
protocol: TCP
我根据另一个SO问题做出假设，clusterIP是我传递给master的值，而不是主机的ip。我确信它必须是我错过的明显或简单的东西。有人可以帮忙吗？
谢谢！
更新
我在 GitHub 仓库中发现 this 已关闭的问题。看来我也有同样的问题。
我已经添加到 GitHub 的主题中，并尝试了很多方法但仍然没有进展。我尝试使用不同的图像，但它们有不同的错误（或者相同的错误以不同的方式表示自己，我无法分辨）。
我发现与此相关的所有内容都建议 IP 限制或 firewall/security 设置。所以我决定从容器本身卷曲 api。
docker exec 49705c38846a echo $(curl http://0.0.0.0:8080/api/v1/services?labels=)
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 908 100 908 0 0 314k 0 --:--:-- --:--:-- --:--:-- 443k
{ "kind": "ServiceList", "apiVersion": "v1", "metadata": { "selfLink": "/api/v1/services", "resourceVersion": "948" }, "items": [ { "metadata": { "name": "kubernetes", "namespace": "default", "selfLink": "/api/v1/namespaces/default/services/kubernetes", "uid": "369a9307-796e-11e5-87de-7a0704d1fdad", "resourceVersion": "6", "creationTimestamp": "2015-10-23T10:09:57Z", "labels": { "component": "apiserver", "provider": "kubernetes" } }, "spec": { "ports": [ { "protocol": "TCP", "port": 443, "targetPort": 443, "nodePort": 0 } ], "clusterIP": "10.0.0.1", "type": "ClusterIP", "sessionAffinity": "None" }, "status": { "loadBalancer": {} } } ] }
似乎是对我的有效回应，那么为什么 JSON 来自 kube2Sky 的解析错误！？
Failed to list *api.Service: couldn't get version/kind; json parse error: invalid character '<' looking for beginning of value
Failed to list *api.Endpoints: couldn't get version/kind; json parse error: invalid character '<' looking for beginning of value
如果您没有看到任何端点，那么很可能您的 skydns pod 没有工作。试试kubectl get pods --all-namespaces看看状态如何。
clusterIP 可以是任何未使用的 IP 地址。它将用于连接到 DNS 服务。应该不是主机IP。
问题在于网络和 kube2sky 无法访问 API，因此无法获得服务。
更改 docker 运行 的主从，
--config=/etc/kubernetes/manifests
到
--config=/etc/kubernetes/manifests-multi
然后在kube2sky的skydns-rc.yaml中设置域名，设置主机IP地址。
- -kube_master_url=http://192.168.99.100:8080 #<- your docker machine IP
没有 manifests-multi，无法访问主机 IP。
这是一个简单的更改，但需要一些时间才能找到。
我已经在 GitHub 上创建了一个简单的设置，并将维护它，这样人们就不必为了建立本地开发环境和 运行 宁而经历这种痛苦。