无法删除在 AWS 使用 Kops 部署的 Kubernetes 集群

Question

我不能delete/update集群。我得到：

    I0107 19:54:02.618454 8397 request_logger.go:45] AWS request: autoscaling/DescribeAutoScalingGroups
I0107 19:54:02.812764 8397 request_logger.go:45] AWS request: ec2/DescribeNatGateways
W0107 19:54:03.032646 8397 executor.go:130] error running task "ElasticIP/us-east-1a.my.domain" (9m56s remaining to succeed): error finding AssociatedNatGatewayRouteTable: error listing NatGateway %!q(*string=0xc42169eb08): NatGatewayNotFound: NAT gateway nat-083300682d9a0fa74 was not found
status code: 400, request id: 8408a79d-1f8f-4886-83d9-ae0a26c1cc47
I0107 19:54:03.032738 8397 executor.go:103] Tasks: 98 done / 101 total; 1 can run
I0107 19:54:03.032828 8397 executor.go:178] Executing task "ElasticIP/us-east-1a.my.domain": *awstasks.ElasticIP {"Name":"us-east-1a.my.domain","Lifecycle":"Sync","ID":null,"PublicIP":null,"TagOnSubnet":null,"Tags":{"KubernetesCluster":"my.domain","Name":"us-east-1a.my.domain","kubernetes.io/cluster/my.domain":"owned"},"AssociatedNatGatewayRouteTable":{"Name":"private-us-east-1a.my.domain","Lifecycle":"Sync","ID":"rtb-089bd4ffc062a3b15","VPC":{"Name":"my.domain","Lifecycle":"Sync","ID":"vpc-0b638e55c11fc9021","CIDR":"172.10.0.0/16","EnableDNSHostnames":null,"EnableDNSSupport":true,"Shared":true,"Tags":null},"Shared":false,"Tags":{"KubernetesCluster":"my.domain","Name":"private-us-east-1a.my.domain","kubernetes.io/cluster/my.domain":"owned","kubernetes.io/kops/role":"private-us-east-1a"}}}
I0107 19:54:03.033039 8397 natgateway.go:205] trying to match NatGateway via RouteTable rtb-089bd4ffc062a3b15
I0107 19:54:03.033304 8397 request_logger.go:45] AWS request: ec2/DescribeRouteTables
I0107 19:54:03.741980 8397 request_logger.go:45] AWS request: ec2/DescribeNatGateways
W0107 19:54:03.981744 8397 executor.go:130] error running task "ElasticIP/us-east-1a.my.domain" (9m55s remaining to succeed): error finding AssociatedNatGatewayRouteTable: error listing NatGateway %!q(*string=0xc4217e8da8): NatGatewayNotFound: NAT gateway nat-083300682d9a0fa74 was not found
status code: 400, request id: 3be6843a-38e2-4584-b2cd-b29f6a132d2d
I0107 19:54:03.981881 8397 executor.go:145] No progress made, sleeping before retrying 1 failed task(s)
I0107 19:54:13.982261 8397 executor.go:103] Tasks: 98 done / 101 total; 1 can run

我更改了 kubectl 版本来为其他集群执行一些任务，然后回到最新版本，我一直在测试新集群删除、创建、更新没有任何问题...直到现在，我有这个集群不能修改和花钱，当然我可以删除 kops IAM，但我将它用于同一帐户的其他环境。

至少，是否有一个文件可以让我编辑 kops 查看 AWS 的内容，以便删除此对象？我在 config/spec 个 S3 文件中找不到。

我有一个已部署的集群，因此无法使用，当然我可以拒绝 kops 权限并删除该集群，这样 kops 就无法重新创建它，但我还有其他集群。

kops 版本：版本 1.10.0 (git-8b52ea6d1)

Answer 1

我手动删除了存储桶，然后删除了所有资源。

对于未来的读者，请在导出集群配置的存储桶中启用版本控制。

Answer 2

几分钟前我们运行遇到了同样的问题。我们能够通过搜索指向相应 NatGateway（状态为 Blackhole）的 VPC RouteTable 条目来修复它。删除这些后，我们终于可以删除集群，而不会出现任何其他问题。

this issue comment 为我们指明了正确的方向。

Answer 3

只是删除master节点集群就死了。我在测试 KOPS 时遇到了类似的问题，并因此支付了一点费用。当我删除一个子节点时，会立即创建一个新的子节点，这是可以理解的。所以我删除了主节点，集群就死了。

无法删除在 AWS 使用 Kops 部署的 Kubernetes 集群

Can't delete Kubernetes cluster deployed with Kops at AWS

amazon-web-services

kubernetes

kops