在分布式模式下使用 Kafka Connect,内部主题应该存在于何处
Using Kafka Connect in distributed mode, where are internal topics supposed to exist
作为我在此处 Attempting to run Kafka Connect in distributed mode locally, problem with internal topics 上一个问题的跟进,我已经开始弄清楚可能真正发生的事情(我正在学习 Kafka)。
Kafka Connect 以一种或另一种方式需要三个内部主题:config、offset 和 status。这些主题是否应该存在于我从中使用数据的 Kafka 集群中?对于上下文,我正在做的是其他人设置了一个 Kafka 集群,其中有主题(消息?)供我使用。我在我的本地机器上启动了一个 Kafka Connect 集群(用于测试),这个本地实例(我们以后称之为)然后通过我连接到远程 Kafka 集群(我们称之为远程集群)输入 bootstrap 服务器、一些回调处理程序 类 和 connect.jaas 文件。
这三个主题是否需要已经存在于远程集群上?在这里,我一直在尝试在我自己的本地实例上的代理上创建它们,但通过不断的研究,我发现这三个内部主题可能需要在远程集群上(我从那里获取数据)。远程Kafka集群的拥有者是否需要为我创建这三个主题?他们将在哪里创建它们?如果他们的集群不是专门的 Kafka Connect 集群怎么办?
需要在 Connect worker 属性中 bootstrap.servers
定义的集群上创建主题。这可以是本地的或远程的,具体取决于您实际希望连接器任务处理的数据 send/receive。单个连接任务无法覆盖正在使用的代理(例如,无法使用源连接器写入多个 Kafka 集群)
如果获得授权,最新版本的 Kafka Connect 将自动创建这些内部主题。否则,是的,它们需要使用 kafka-topics --create
和适当的分区计数和复制因子来创建。
如果您的数据存在于远程 Kafka 集群中,运行 本地实例的唯一原因是您想要使用 MirrorMaker,例如。
What if their cluster is not a Kafka Connect cluster specifically?
不清楚这是什么意思。 Kafka Connect 是一个客户端,就像 Kafka Streams 应用程序或普通生产者或消费者一样。它本身不存储主题。
作为我在此处 Attempting to run Kafka Connect in distributed mode locally, problem with internal topics 上一个问题的跟进,我已经开始弄清楚可能真正发生的事情(我正在学习 Kafka)。
Kafka Connect 以一种或另一种方式需要三个内部主题:config、offset 和 status。这些主题是否应该存在于我从中使用数据的 Kafka 集群中?对于上下文,我正在做的是其他人设置了一个 Kafka 集群,其中有主题(消息?)供我使用。我在我的本地机器上启动了一个 Kafka Connect 集群(用于测试),这个本地实例(我们以后称之为)然后通过我连接到远程 Kafka 集群(我们称之为远程集群)输入 bootstrap 服务器、一些回调处理程序 类 和 connect.jaas 文件。
这三个主题是否需要已经存在于远程集群上?在这里,我一直在尝试在我自己的本地实例上的代理上创建它们,但通过不断的研究,我发现这三个内部主题可能需要在远程集群上(我从那里获取数据)。远程Kafka集群的拥有者是否需要为我创建这三个主题?他们将在哪里创建它们?如果他们的集群不是专门的 Kafka Connect 集群怎么办?
需要在 Connect worker 属性中 bootstrap.servers
定义的集群上创建主题。这可以是本地的或远程的,具体取决于您实际希望连接器任务处理的数据 send/receive。单个连接任务无法覆盖正在使用的代理(例如,无法使用源连接器写入多个 Kafka 集群)
如果获得授权,最新版本的 Kafka Connect 将自动创建这些内部主题。否则,是的,它们需要使用 kafka-topics --create
和适当的分区计数和复制因子来创建。
如果您的数据存在于远程 Kafka 集群中,运行 本地实例的唯一原因是您想要使用 MirrorMaker,例如。
What if their cluster is not a Kafka Connect cluster specifically?
不清楚这是什么意思。 Kafka Connect 是一个客户端,就像 Kafka Streams 应用程序或普通生产者或消费者一样。它本身不存储主题。