有没有办法知道kafka connect sink写入了多少条记录?
is there a way to know how many record are written by kafka connect sink?
我使用 HDFS 接收器连接器,我想知道有多少记录被放入 HDFS。
在日志中我有连接器开始将文件放入 HDFS 的日志,但没有记录有多少。
例如:
INFO Opening record writer for: hdfs://hdfs/path/+tmp/table/partition=2020-02-27/19955b52-8189-4f70-94b5-46d579cd1505_tmp.avro (io.confluent.connect.hdfs.avro.AvroRecordWriterProvider)
是否可以通过扩展连接器本身来实现?
我使用 kafka 连接 HDFS 2 接收器。
开箱即用,据我所知(当然,它是开源的,你可以看看)。每个文件都会有可变数量的数据,因此度量跟踪不会太有用。
我不记得调试或跟踪日志是否公开了该信息。
您可以使用 Hive/Spark/HDFS CLI 检查每个文件,但
我使用 HDFS 接收器连接器,我想知道有多少记录被放入 HDFS。
在日志中我有连接器开始将文件放入 HDFS 的日志,但没有记录有多少。
例如:
INFO Opening record writer for: hdfs://hdfs/path/+tmp/table/partition=2020-02-27/19955b52-8189-4f70-94b5-46d579cd1505_tmp.avro (io.confluent.connect.hdfs.avro.AvroRecordWriterProvider)
是否可以通过扩展连接器本身来实现?
我使用 kafka 连接 HDFS 2 接收器。
开箱即用,据我所知(当然,它是开源的,你可以看看)。每个文件都会有可变数量的数据,因此度量跟踪不会太有用。
我不记得调试或跟踪日志是否公开了该信息。
您可以使用 Hive/Spark/HDFS CLI 检查每个文件,但