是否有开源 Kafka Cassandra 连接器配置示例?
Is there a sample example of opensource Kafka Cassandra connector configuration?
我们使用 PerimeterX Cassandra Logstash out 插件将事件(日志)从 Logstash 提供给 Apache Cassandra。我们已经将插件的最大吞吐量设置为 8K,因为它只打开 2 个到 Cassandra 的连接,而 Cassandra 具有更高的吞吐量(用于消耗数据),我们期望实际系统的吞吐量为 30K 或更高。
这里的吞吐量是消耗传入事件的能力,即x units/sec
因此我们计划在中间引入 Kafa,它具有 45K 的吞吐量和 Logstash 输出。
我们正在寻求 stack overflow post. We could configure the connector JAR as mentioned in the documentation 的帮助。但是没有合适的指南或当前文档非常混乱并且与配置要求循环。当 Kafka 是 运行 目标主题时,我们没有看到插件被调用。
一些关于什么是正确配置的帮助,或者一些关于 Cassandra 键空间的文档信息将会有所帮助。
按照 documentation 中所述放置 JAR 后
我们需要 运行 Kafka 连接,它将显示所有已配置的连接器。
要打开 Kafka 连接 运行 下面的命令(Kafka 在分布式模式下连接)
bin/connect-distributed.sh config/connect-distributed.properties
Kafka connect 在 http://localhost:8083 有一个 REST API 服务
使用此 REST API 您可以配置您的连接器。
要注册连接器,请使用以下 API
POST /connectors – creates a new connector; the request body should be a JSON object containing a string name field and an object config field with the connector configuration parameters
存在用于注册连接器的 JSON 示例 kafka-connect-cassandra-sink-1.4.0.tar.gz 文件。
official-documentation 提供了包含所有端点的列表。
更多信息可用here
我们使用 PerimeterX Cassandra Logstash out 插件将事件(日志)从 Logstash 提供给 Apache Cassandra。我们已经将插件的最大吞吐量设置为 8K,因为它只打开 2 个到 Cassandra 的连接,而 Cassandra 具有更高的吞吐量(用于消耗数据),我们期望实际系统的吞吐量为 30K 或更高。
这里的吞吐量是消耗传入事件的能力,即x units/sec
因此我们计划在中间引入 Kafa,它具有 45K 的吞吐量和 Logstash 输出。
我们正在寻求
一些关于什么是正确配置的帮助,或者一些关于 Cassandra 键空间的文档信息将会有所帮助。
按照 documentation 中所述放置 JAR 后 我们需要 运行 Kafka 连接,它将显示所有已配置的连接器。 要打开 Kafka 连接 运行 下面的命令(Kafka 在分布式模式下连接)
bin/connect-distributed.sh config/connect-distributed.properties
Kafka connect 在 http://localhost:8083 有一个 REST API 服务 使用此 REST API 您可以配置您的连接器。
要注册连接器,请使用以下 API
POST /connectors – creates a new connector; the request body should be a JSON object containing a string name field and an object config field with the connector configuration parameters
存在用于注册连接器的 JSON 示例 kafka-connect-cassandra-sink-1.4.0.tar.gz 文件。
official-documentation 提供了包含所有端点的列表。
更多信息可用here