Kafka 连接 AWS Lambda 接收器
Kafka Connect AWS Lambda Sink
此连接器插件如何工作？
Kafka Connect AWS Lambda Sink
在 docker-compose.yml 文件中，它从 confluentinc 存储库中提取 docker zookeeper、kafka 和 kafka-connect 的图像。
我们能否利用此插件仅将 aws lambda 作为 kafka 消费者与单独部署在 ec2 实例上的 kafka 集群连接起来。
我们可以在不使用 kafka connect 的情况下使用这个连接器插件吗？
Can we consume this connector plugin without the use of kafka connect?
没有。 Kafka Connect 上的 Kafka Connect 连接器 运行。
但是，Kafka Connect 是 Apache Kafka 的一部分，并为您提供了一个 运行time 环境来处理节点故障、横向扩展、集中配置和管理等事情——所以它实际上是一个很好用的东西。从用户的角度来看，您需要编写 'just' 个配置文件才能使用它。
您可以阅读更多关于 Kafka Connect here
免责声明：我为 Confluent 工作。
您可以将插件与单独部署的 Kafka 集群一起使用。将连接器 jar 部署到您的 Kafka Connect 集群或 运行 Docker 中的 Kafka Connect 容器并在那里部署 lambda 连接器。您只需要修改 Kafka Connect 的 docker-compose.yml 配置以指向您的 Kafka 集群。 github.com/llofberg/kafka-connect-rest 存储库中有一个可能更好的示例。
免责声明：我编写了连接器。
此连接器插件如何工作？
Kafka Connect AWS Lambda Sink
在 docker-compose.yml 文件中，它从 confluentinc 存储库中提取 docker zookeeper、kafka 和 kafka-connect 的图像。
我们能否利用此插件仅将 aws lambda 作为 kafka 消费者与单独部署在 ec2 实例上的 kafka 集群连接起来。
我们可以在不使用 kafka connect 的情况下使用这个连接器插件吗？
Can we consume this connector plugin without the use of kafka connect?
没有。 Kafka Connect 上的 Kafka Connect 连接器 运行。
但是，Kafka Connect 是 Apache Kafka 的一部分，并为您提供了一个 运行time 环境来处理节点故障、横向扩展、集中配置和管理等事情——所以它实际上是一个很好用的东西。从用户的角度来看，您需要编写 'just' 个配置文件才能使用它。
您可以阅读更多关于 Kafka Connect here
免责声明：我为 Confluent 工作。
您可以将插件与单独部署的 Kafka 集群一起使用。将连接器 jar 部署到您的 Kafka Connect 集群或 运行 Docker 中的 Kafka Connect 容器并在那里部署 lambda 连接器。您只需要修改 Kafka Connect 的 docker-compose.yml 配置以指向您的 Kafka 集群。 github.com/llofberg/kafka-connect-rest 存储库中有一个可能更好的示例。
免责声明：我编写了连接器。