Clickhouse 无法从 kafka 获取所有数据
Clickhouse is not able to get all data from kafka
我试图将一些实时指标从 kafka 放到 clickhouse，我的查询如下所示
CREATE TABLE queue2 (timestamp String, namespace String, data Float, unit String, plugin_running_on String, version UInt64, last_advertised_time String) ENGINE = Kafka('10.224.54.99:9092', 'outtopic1', 'group2', 'JSONEachRow');
因为它正在从 kafka 获取大约 150 行的指标，它突然停止并显示
156 rows in set. Elapsed: 11.245 sec.
但数据仍会存在于 kafka 中，需要将其推送到 clickhouse...可能是什么问题？谁能帮帮我
您是否按照 documentation 中的建议为 Kafka table 使用 MATERIALIZED VIEW？
如果您使用 MATERIALIZED VIEW，那么来自 Kafka 的所有消息都将被插入到视图中。所以在这种情况下你应该 select 来自视图，而不是来自 Kafka table.
如果您不使用 MATERIALIZED VIEW，那么您只能从 kafka table 查询一次新消息。
当您再次查询时，查询将不会再次 return 相同的消息，因为它已经从 Kafka 消费过一次。
此外，您可以检查 ClickHouse 日志 (/var/log/clickhouse-server/clickhouse-server.log) 中的一些错误。
还要确保您没有任何其他具有相同组主题的 Kafka 消费者（或 ClickHouse kafka table），因为在 Kafka 消费者组中消息只被获取一次。
我试图将一些实时指标从 kafka 放到 clickhouse，我的查询如下所示
CREATE TABLE queue2 (timestamp String, namespace String, data Float, unit String, plugin_running_on String, version UInt64, last_advertised_time String) ENGINE = Kafka('10.224.54.99:9092', 'outtopic1', 'group2', 'JSONEachRow');
因为它正在从 kafka 获取大约 150 行的指标，它突然停止并显示
156 rows in set. Elapsed: 11.245 sec.
但数据仍会存在于 kafka 中，需要将其推送到 clickhouse...可能是什么问题？谁能帮帮我
您是否按照 documentation 中的建议为 Kafka table 使用 MATERIALIZED VIEW？
如果您使用 MATERIALIZED VIEW，那么来自 Kafka 的所有消息都将被插入到视图中。所以在这种情况下你应该 select 来自视图，而不是来自 Kafka table.
如果您不使用 MATERIALIZED VIEW，那么您只能从 kafka table 查询一次新消息。 当您再次查询时，查询将不会再次 return 相同的消息，因为它已经从 Kafka 消费过一次。
此外，您可以检查 ClickHouse 日志 (/var/log/clickhouse-server/clickhouse-server.log) 中的一些错误。
还要确保您没有任何其他具有相同组主题的 Kafka 消费者（或 ClickHouse kafka table），因为在 Kafka 消费者组中消息只被获取一次。