无法通过 LocalStack 中的 Cloudformation 创建对 SNS 主题的 SQS 订阅
Cannot create SQS subscription to an SNS topic through Cloudformation in LocalStack
使用 localstack
我正在尝试创建一个执行以下操作的模板:
- 创建 SNS 主题
- 创建 SQS 队列
- 创建一个订阅,将 SQS 队列订阅到 SNS 主题。
我的 docker-compose
文件如下所示:
version: '3'
services:
localstack:
image: localstack/localstack
container_name: localstack
environment:
- SERVICES=sns,sqs,cloudformation
- DEBUG=1
- PORT_WEB_UI=${PORT_WEB_UI- }
- HOSTNAME=localstack
- AWS_DEFAULT_REGION=eu-west-2
- AWS_ACCESS_KEY_ID=XX
- AWS_SECRET_ACCESS_KEY=XX
ports:
- "4575:4575"
- "4576:4576"
- "4581:4581"
- "8080:8080"
volumes:
- ./config/formation.yml:/usr/stuff/formation.yml
- ./config/init.sh:/docker-entrypoint-initaws.d/init.sh
我的 init.sh
文件如下所示:
#!/bin/bash
aws cloudformation create-stack --stack-name fincorestack --template-body file:///usr/stuff/formation.yml --endpoint-url=http://localstack:4581
最后我的 Cloudformation 文件如下所示:
AWSTemplateFormatVersion: '2010-09-09'
Description: 'Test'
Resources:
MySnsTopic:
Type: AWS::SNS::Topic
Properties:
TopicName: MySnsTopic
MySnsTopicSubscription:
Type: AWS::SNS::Subscription
Properties:
Protocol: sqs
TopicArn: !Ref MySnsTopic
Endpoint: !GetAtt
- MySqsQueue
- QueueArn
MySqsQueue:
Type: AWS::SQS::Queue
Properties:
QueueName: MySqsQueue
这会产生一个非常模糊的 500 内部服务器错误。因为这是 localstack
并且我知道 arns 是相当静态的,所以我尝试用以下内容替换订阅 TopcArn
和 Endpoint
的 yml
文件的内容:
TopicArn: arn:aws:sns:eu-west-2:123456789012:MySnsTopic
Endpoint: arn:aws:sqs:elasticmq:000000000000:MySqsQueue
这次我没有收到错误,但订阅没有创建。从 localstack
的调试输出中我可以看到:
并且未创建订阅。 localstack
的 Cloudformation
实现不支持此功能,还是我做错了什么?
我觉得QueueArn
不是AWS::SQS::Queue
的属性,应该是Arn
.
找到了一个解决方法,所以发布以防其他人需要它。我感觉 localstack
根本不支持创建订阅作为资源,因此我在定义 SNS 主题资源时创建它们。将 yml
文件更改为以下文件就可以了:
AWSTemplateFormatVersion: '2010-09-09'
Description: 'Test'
Resources:
MySqsQueue:
Type: AWS::SQS::Queue
Properties:
QueueName: MySqsQueue
MySqsQueue:
Type: AWS::SNS::Topic
Properties:
TopicName: MySqsQueue
Subscription:
- Protocol: sqs
Endpoint:
"Fn::GetAtt": ["MySqsQueue", "Arn"]
RawMessageDelivery: 'true'
编辑:
不幸的是,以这种方式创建订阅不允许设置属性。在我的例子中,我需要 RawMessageDelivery=true
,但它不受支持(参见 here)。很烦人...
此问题现已修复:https://github.com/localstack/localstack/issues/1191
尽管TopcArn
和Endpoint
仍然需要硬编码。
在命令行中使用 docker 和 localstack...
启动你的本地堆栈
创建主题:
AWS_ACCESS_KEY_ID=x AWS_SECRET_ACCESS_KEY=x aws --endpoint-url=http://dc-localstack:4566 --region us-east-1 sns create-topic --name jensTopic`
回复:
{
"SubscriptionArn": "arn:aws:sns:us-east-1:000000000000:jensTopic:9bf7628e-ee36-49c1-8216-ed5cf5aea1ed"
}
创建队列:
AWS_ACCESS_KEY_ID=x AWS_SECRET_ACCESS_KEY=x aws --endpoint=http://dc-localstack:4566 --region us-east-1 sqs create-queue --queue-name jensQueue
获取队列 arn 属性:
AWS_ACCESS_KEY_ID=x AWS_SECRET_ACCESS_KEY=x aws --endpoint-url=http://dc-localstack:4566 --region us-east-1 sqs get-queue-attributes --queue-url http://localhost:4566/queue/jensQueue --attribute-names QueueArn
回复:
{
"Attributes": {
"QueueArn": "arn:aws:sqs:us-east-1:000000000000:jensQueue"
}
}
订阅队列主题:
AWS_ACCESS_KEY_ID=x AWS_SECRET_ACCESS_KEY=x aws --endpoint-url=http://dc-localstack:4566 --region us-east-1 sns subscribe --topic-arn "arn:aws:sns:us-east-1:000000000000:jensTopic" --protocol sqs --notification-endpoint "arn:aws:sqs:us-east-1:000000000000:jensQueue"
完整性检查:
AWS_ACCESS_KEY_ID=x AWS_SECRET_ACCESS_KEY=x aws --endpoint-url=http://dc-localstack:4566 --region us-east-1 sns list-subscriptions
回复:
{
"Subscriptions": [
{
"SubscriptionArn": "arn:aws:sns:us-east-1:000000000000:jensTopic:9bf7628e-ee36-49c1-8216-ed5cf5aea1ed",
"Owner": "",
"Protocol": "sqs",
"Endpoint": "arn:aws:sqs:us-east-1:000000000000:jensQueue",
"TopicArn": "arn:aws:sns:us-east-1:000000000000:jensTopic"
}
]
}
使用 localstack
我正在尝试创建一个执行以下操作的模板:
- 创建 SNS 主题
- 创建 SQS 队列
- 创建一个订阅,将 SQS 队列订阅到 SNS 主题。
我的 docker-compose
文件如下所示:
version: '3'
services:
localstack:
image: localstack/localstack
container_name: localstack
environment:
- SERVICES=sns,sqs,cloudformation
- DEBUG=1
- PORT_WEB_UI=${PORT_WEB_UI- }
- HOSTNAME=localstack
- AWS_DEFAULT_REGION=eu-west-2
- AWS_ACCESS_KEY_ID=XX
- AWS_SECRET_ACCESS_KEY=XX
ports:
- "4575:4575"
- "4576:4576"
- "4581:4581"
- "8080:8080"
volumes:
- ./config/formation.yml:/usr/stuff/formation.yml
- ./config/init.sh:/docker-entrypoint-initaws.d/init.sh
我的 init.sh
文件如下所示:
#!/bin/bash
aws cloudformation create-stack --stack-name fincorestack --template-body file:///usr/stuff/formation.yml --endpoint-url=http://localstack:4581
最后我的 Cloudformation 文件如下所示:
AWSTemplateFormatVersion: '2010-09-09'
Description: 'Test'
Resources:
MySnsTopic:
Type: AWS::SNS::Topic
Properties:
TopicName: MySnsTopic
MySnsTopicSubscription:
Type: AWS::SNS::Subscription
Properties:
Protocol: sqs
TopicArn: !Ref MySnsTopic
Endpoint: !GetAtt
- MySqsQueue
- QueueArn
MySqsQueue:
Type: AWS::SQS::Queue
Properties:
QueueName: MySqsQueue
这会产生一个非常模糊的 500 内部服务器错误。因为这是 localstack
并且我知道 arns 是相当静态的,所以我尝试用以下内容替换订阅 TopcArn
和 Endpoint
的 yml
文件的内容:
TopicArn: arn:aws:sns:eu-west-2:123456789012:MySnsTopic
Endpoint: arn:aws:sqs:elasticmq:000000000000:MySqsQueue
这次我没有收到错误,但订阅没有创建。从 localstack
的调试输出中我可以看到:
并且未创建订阅。 localstack
的 Cloudformation
实现不支持此功能,还是我做错了什么?
我觉得QueueArn
不是AWS::SQS::Queue
的属性,应该是Arn
.
找到了一个解决方法,所以发布以防其他人需要它。我感觉 localstack
根本不支持创建订阅作为资源,因此我在定义 SNS 主题资源时创建它们。将 yml
文件更改为以下文件就可以了:
AWSTemplateFormatVersion: '2010-09-09'
Description: 'Test'
Resources:
MySqsQueue:
Type: AWS::SQS::Queue
Properties:
QueueName: MySqsQueue
MySqsQueue:
Type: AWS::SNS::Topic
Properties:
TopicName: MySqsQueue
Subscription:
- Protocol: sqs
Endpoint:
"Fn::GetAtt": ["MySqsQueue", "Arn"]
RawMessageDelivery: 'true'
编辑:
不幸的是,以这种方式创建订阅不允许设置属性。在我的例子中,我需要 RawMessageDelivery=true
,但它不受支持(参见 here)。很烦人...
此问题现已修复:https://github.com/localstack/localstack/issues/1191
尽管TopcArn
和Endpoint
仍然需要硬编码。
在命令行中使用 docker 和 localstack...
启动你的本地堆栈
创建主题:
AWS_ACCESS_KEY_ID=x AWS_SECRET_ACCESS_KEY=x aws --endpoint-url=http://dc-localstack:4566 --region us-east-1 sns create-topic --name jensTopic`
回复:
{
"SubscriptionArn": "arn:aws:sns:us-east-1:000000000000:jensTopic:9bf7628e-ee36-49c1-8216-ed5cf5aea1ed"
}
创建队列:
AWS_ACCESS_KEY_ID=x AWS_SECRET_ACCESS_KEY=x aws --endpoint=http://dc-localstack:4566 --region us-east-1 sqs create-queue --queue-name jensQueue
获取队列 arn 属性:
AWS_ACCESS_KEY_ID=x AWS_SECRET_ACCESS_KEY=x aws --endpoint-url=http://dc-localstack:4566 --region us-east-1 sqs get-queue-attributes --queue-url http://localhost:4566/queue/jensQueue --attribute-names QueueArn
回复:
{
"Attributes": {
"QueueArn": "arn:aws:sqs:us-east-1:000000000000:jensQueue"
}
}
订阅队列主题:
AWS_ACCESS_KEY_ID=x AWS_SECRET_ACCESS_KEY=x aws --endpoint-url=http://dc-localstack:4566 --region us-east-1 sns subscribe --topic-arn "arn:aws:sns:us-east-1:000000000000:jensTopic" --protocol sqs --notification-endpoint "arn:aws:sqs:us-east-1:000000000000:jensQueue"
完整性检查:
AWS_ACCESS_KEY_ID=x AWS_SECRET_ACCESS_KEY=x aws --endpoint-url=http://dc-localstack:4566 --region us-east-1 sns list-subscriptions
回复:
{
"Subscriptions": [
{
"SubscriptionArn": "arn:aws:sns:us-east-1:000000000000:jensTopic:9bf7628e-ee36-49c1-8216-ed5cf5aea1ed",
"Owner": "",
"Protocol": "sqs",
"Endpoint": "arn:aws:sqs:us-east-1:000000000000:jensQueue",
"TopicArn": "arn:aws:sns:us-east-1:000000000000:jensTopic"
}
]
}