无法在 Terraform 中同时创建多个 Azure 防火墙规则集
Cannot create many Azure firewall rule sets concurrently in Terraform
我的 Terraform 代码的架构大致如下:
module "firewall_hub" {
# This creates the Azure Firewall resource
source = "/path/to/module/a"
# attribute = value...
}
module "firewall_spoke" {
# This creates, amongst other things, firewall rule sets
source = "/path/to/module/b"
hub = module.firewall_hub
# attribute = value...
}
module "another_firewall_spoke" {
# This creates, amongst other things, firewall rule sets
source = "/path/to/module/c"
hub = module.firewall_hub
# attribute = value...
}
即,Azure 防火墙资源是在 module.firewall_hub
中创建的,它用作 module.firewall_spoke
和 module.another_firewall_spoke
的输入,它们创建了必要的资源并将防火墙规则集注入到防火墙资源。重要的是,规则集在辐条模块之间是互斥的,并且设计为它们的优先级不会重叠。
当我尝试部署此代码(构建或销毁)时,Azure 抛出错误:
Error: deleting Application Rule Collection "XXX" from Firewall "XXX (Resource Group "XXX"): network.AzureFirewallsClient#CreateOrUpdate: Failure sending request: StatusCode=0 -- Original Error: autorest/azure: Service returned an error. Status= Code="AnotherOperationInProgress" Message="Another operation on this or dependent resource is in progress. To retrieve status of the operation use uri: https://management.azure.com/subscriptions/XXX" Details=[]
我的工作假设是不能同时对同一防火墙发出多个 create/update/delete 防火墙规则集请求,即使这些规则集是互斥的。事实上,如果您在部署失败后等待一分钟左右并重新启动它——不更改任何 Terraform 代码或手动更新 Azure 中的资源——它会愉快地继续而不会出错并成功完成。
为了测试我的假设,我试图通过强制序列化模块来解决这个问题:
module "another_firewall_spoke" {
# This creates, amongst other things, firewall rule sets
source = "/path/to/module/c"
hub = module.firewall_hub
# attribute = value...
depends_on = [module.firewall_spoke]
}
然而,不幸的是,我的模块的编写方式是不可能的:
Providers cannot be configured within modules using count, for_each or depends_on.
除了重写我的模块(不是一个选项)之外,是否有可能解决这个竞争条件——如果这是问题所在——或者你会认为它是 azurerm
提供程序的错误(即,它应该认识到 API 错误响应并等待轮到它,直到超时)?
(Terraform v1.1.7,azurerm
v2.96.0)
按照@silent 的 tip-off 到 ,我能够使用其中描述的方法解决比赛。
像这样:
module "firewall_hub" {
# This creates the Azure Firewall resource
source = "/path/to/module/a"
# attribute = value...
}
module "firewall_spoke" {
# This creates, amongst other things, firewall rule sets
# Has an output "blockers" containing resources that cannot be deployed concurrently
source = "/path/to/module/b"
hub = module.firewall_hub
# attribute = value...
}
module "another_firewall_spoke" {
# This creates, amongst other things, firewall rule sets
source = "/path/to/module/c"
hub = module.firewall_hub
waits_for = module.firewall_spoke.blockers
# attribute = value...
}
所以诀窍是让您的模块导出一个输出,其中包含需要首先部署的所有依赖资源的列表。然后,这可以作为后续模块的输入,通过线程连接到需要 depends_on
值的实际资源。
也就是在我模块的深处,资源有:
resource "some_resource" "foo" {
# attribute = value...
depends_on = [var.waits_for]
}
使用此方法时需要牢记两个重要注意事项:
模块 中的 wait_for
变量必须 的类型为 any
; list(any)
不起作用,因为 Terraform 将其解释为同构列表(很可能不会)。
奇怪的是,imo,depends_on
子句要求您显式使用列表文字(即 [var.waits_for]
而不仅仅是 var.waits_for
),even 如果你正在处理的变量是一个列表。这并没有在我的脑海中输入检查,但显然 Terraform 不仅适用于它,而且它期待它!
我的 Terraform 代码的架构大致如下:
module "firewall_hub" {
# This creates the Azure Firewall resource
source = "/path/to/module/a"
# attribute = value...
}
module "firewall_spoke" {
# This creates, amongst other things, firewall rule sets
source = "/path/to/module/b"
hub = module.firewall_hub
# attribute = value...
}
module "another_firewall_spoke" {
# This creates, amongst other things, firewall rule sets
source = "/path/to/module/c"
hub = module.firewall_hub
# attribute = value...
}
即,Azure 防火墙资源是在 module.firewall_hub
中创建的,它用作 module.firewall_spoke
和 module.another_firewall_spoke
的输入,它们创建了必要的资源并将防火墙规则集注入到防火墙资源。重要的是,规则集在辐条模块之间是互斥的,并且设计为它们的优先级不会重叠。
当我尝试部署此代码(构建或销毁)时,Azure 抛出错误:
Error: deleting Application Rule Collection "XXX" from Firewall "XXX (Resource Group "XXX"): network.AzureFirewallsClient#CreateOrUpdate: Failure sending request: StatusCode=0 -- Original Error: autorest/azure: Service returned an error. Status= Code="AnotherOperationInProgress" Message="Another operation on this or dependent resource is in progress. To retrieve status of the operation use uri: https://management.azure.com/subscriptions/XXX" Details=[]
我的工作假设是不能同时对同一防火墙发出多个 create/update/delete 防火墙规则集请求,即使这些规则集是互斥的。事实上,如果您在部署失败后等待一分钟左右并重新启动它——不更改任何 Terraform 代码或手动更新 Azure 中的资源——它会愉快地继续而不会出错并成功完成。
为了测试我的假设,我试图通过强制序列化模块来解决这个问题:
module "another_firewall_spoke" {
# This creates, amongst other things, firewall rule sets
source = "/path/to/module/c"
hub = module.firewall_hub
# attribute = value...
depends_on = [module.firewall_spoke]
}
然而,不幸的是,我的模块的编写方式是不可能的:
Providers cannot be configured within modules using count, for_each or depends_on.
除了重写我的模块(不是一个选项)之外,是否有可能解决这个竞争条件——如果这是问题所在——或者你会认为它是 azurerm
提供程序的错误(即,它应该认识到 API 错误响应并等待轮到它,直到超时)?
(Terraform v1.1.7,azurerm
v2.96.0)
按照@silent 的 tip-off 到
像这样:
module "firewall_hub" {
# This creates the Azure Firewall resource
source = "/path/to/module/a"
# attribute = value...
}
module "firewall_spoke" {
# This creates, amongst other things, firewall rule sets
# Has an output "blockers" containing resources that cannot be deployed concurrently
source = "/path/to/module/b"
hub = module.firewall_hub
# attribute = value...
}
module "another_firewall_spoke" {
# This creates, amongst other things, firewall rule sets
source = "/path/to/module/c"
hub = module.firewall_hub
waits_for = module.firewall_spoke.blockers
# attribute = value...
}
所以诀窍是让您的模块导出一个输出,其中包含需要首先部署的所有依赖资源的列表。然后,这可以作为后续模块的输入,通过线程连接到需要 depends_on
值的实际资源。
也就是在我模块的深处,资源有:
resource "some_resource" "foo" {
# attribute = value...
depends_on = [var.waits_for]
}
使用此方法时需要牢记两个重要注意事项:
模块 中的
wait_for
变量必须 的类型为any
;list(any)
不起作用,因为 Terraform 将其解释为同构列表(很可能不会)。奇怪的是,imo,
depends_on
子句要求您显式使用列表文字(即[var.waits_for]
而不仅仅是var.waits_for
),even 如果你正在处理的变量是一个列表。这并没有在我的脑海中输入检查,但显然 Terraform 不仅适用于它,而且它期待它!