Filebeat 和 Amazon MSK (Kafka) 之间的 SSL 设置

Question

我已经成功让Filebeat以明文方式导出日志到MSK。当尝试通过 SSL 执行相同操作时，我从 Filebeat 端收到错误消息

Publish failed with circuit breaker is open

MSK Cloudwatch 日志中的 SSL 握手错误。

我不需要双向验证，所以我假设我只需要从 MSK 控制台将 Filebeat 传递给 ACM-PCA，但我仍然收到 SSL 握手问题。

任何人都可以提供一个用于输出到 MSK 的示例 Filebeat 配置。

Answer 1

您可以通过 ACM 控制台创建私有证书。

完成后，您可以从 ACM 导出证书并在 filebeat 输出中使用证书和密钥。

第一步

证书管理器 > 申请证书 > 申请私有证书 > select 你的 kafka 私有证书

对于 DNS 名称通配您的 MSK 主机名，例如

*.my-kafka-cluster.h6q2kl.c4.kafka.eu-west-2.amazonaws.com

完成后请求证书

第二步

在证书管理器的操作下导出私有证书，点进去你会得到证书，证书链和密钥。您只需要证书和密钥。

第三步

将您的证书和密钥添加到您的实例并配置您的 filebeat 输出以使用 SSL 证书。（您可能想从密钥中删除密码）如果不配置 filebeat 密钥库以避免明文密码

openssl rsa -in [original.key] -out [new.key]

output.kafka:
  hosts: ["*******"]

  topic: "*****"
  partition.round_robin:
    reachable_only: false

  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000

  ssl.certificate: "/root/certs/kafka-broker.pem"
  ssl.key: "/root/certs/kafka.key"

重新启动 filebeat 后，您应该会开始在主题中看到数据

Filebeat 和 Amazon MSK (Kafka) 之间的 SSL 设置

SSL Setup between Filebeat and Amazon MSK (Kafka)

ssl

apache-kafka

filebeat

elastic-beats

aws-msk