来自 Kafka Topic 的 KSQL 流保持相同的分区值
KSQL stream from Kafka Topic Maintain same partition values
我正在从 kafka 主题创建一个 ksql 流。源主题有 50 个分区,目标流也有 50 个分区,但问题是源分区 1 将在目标流(示例分区 10)中随机分区。
架构:
创建流 SCHEMA_BASE (
身份证号码,
时间戳 VARCHAR,
城市瓦尔查尔,
分区 INTEGER) WITH (
KAFKA_TOPIC = 'SPARK_EVENTS',
VALUE_FORMAT = 'JSON',
TIMESTAMP_FORMAT = 'yyyy-MM-dd''T''HH:mm:ss.SSSSSSS''Z''',
时间戳 = 'Timestamp'
);
流:创建流 spark_event_streams 作为
SELECT
ID,
时间戳,
城市,
分割
从
SCHEMA_BASE
按分区分区;
有没有办法强制目标流使用精确分区?
ksqlDB 不支持自定义分区,ksqlDB 始终使用默认分区程序,如果消息键为 null
。
,则执行循环策略
我提交 https://github.com/confluentinc/ksql/issues/7984 可能会使用新功能扩展 ksqlDB。
我正在从 kafka 主题创建一个 ksql 流。源主题有 50 个分区,目标流也有 50 个分区,但问题是源分区 1 将在目标流(示例分区 10)中随机分区。
架构: 创建流 SCHEMA_BASE ( 身份证号码, 时间戳 VARCHAR, 城市瓦尔查尔, 分区 INTEGER) WITH ( KAFKA_TOPIC = 'SPARK_EVENTS', VALUE_FORMAT = 'JSON', TIMESTAMP_FORMAT = 'yyyy-MM-dd''T''HH:mm:ss.SSSSSSS''Z''', 时间戳 = 'Timestamp' );
流:创建流 spark_event_streams 作为 SELECT ID, 时间戳, 城市, 分割 从 SCHEMA_BASE 按分区分区;
有没有办法强制目标流使用精确分区?
ksqlDB 不支持自定义分区,ksqlDB 始终使用默认分区程序,如果消息键为 null
。
我提交 https://github.com/confluentinc/ksql/issues/7984 可能会使用新功能扩展 ksqlDB。