为 kafka 中基于正则表达式的主题指定默认分区和复制因子
Specify default partitions and replication factor for regex based topics in kafka
背景:
我在我的 kafka server.properties 文件中设置了默认分区数 = 1 和复制因子 = 3,并启用了主题创建。 Kafka集群是运行既是认证又是授权。有一些主题我只授予了一个用户创建、读取、写入的权限,并且权限基于像 foo. 这样的主题前缀。此用户有权创建和使用以 foo 开头的主题。现在,我想创建所有 foo. 主题,默认分区=3,复制因子=6(这与服务器属性中的全局默认值不同)。主题创建是动态的,名字是事先不知道的。
问题:
是否可以为 foo.* 类型的主题指定不同的默认分区和复制因子?如果不是,从制作人的角度来看,实现此目标的最佳方法是什么?
我知道 KafkaAdmin 实用程序,但主题创建将在生产者上进行,出于安全原因,我不想将存储在 zookeeper 中的元数据的管理员权限授予用户 运行 生产者。
谢谢!
没有这样的属性。您将不得不创建一些主题创建代理来允许这样的自定义逻辑。
或者写一个 Kafka 改进建议 (KIP),也许可以添加该功能 ;)
背景: 我在我的 kafka server.properties 文件中设置了默认分区数 = 1 和复制因子 = 3,并启用了主题创建。 Kafka集群是运行既是认证又是授权。有一些主题我只授予了一个用户创建、读取、写入的权限,并且权限基于像 foo. 这样的主题前缀。此用户有权创建和使用以 foo 开头的主题。现在,我想创建所有 foo. 主题,默认分区=3,复制因子=6(这与服务器属性中的全局默认值不同)。主题创建是动态的,名字是事先不知道的。
问题: 是否可以为 foo.* 类型的主题指定不同的默认分区和复制因子?如果不是,从制作人的角度来看,实现此目标的最佳方法是什么?
我知道 KafkaAdmin 实用程序,但主题创建将在生产者上进行,出于安全原因,我不想将存储在 zookeeper 中的元数据的管理员权限授予用户 运行 生产者。
谢谢!
没有这样的属性。您将不得不创建一些主题创建代理来允许这样的自定义逻辑。
或者写一个 Kafka 改进建议 (KIP),也许可以添加该功能 ;)