Kafka source 和 HDFS sink in Spring cloud 数据流
Kafka source and HDFS sink in Spring cloud Data flow
我使用 Kafka 作为源，我想使用 HDFS 将 Kafka 上的消息写入 HDFS sink.But我看到在 HDFS 上创建了文件，但 Kafka 上的消息没有写入 HDFS file.Please 在 Stream DSL 下方找到。
stream create --definition ":streaming > hdfs --spring.hadoop.fsUri=hdfs://127.0.0.1:50071 --hdfs.directory=/ws/output --hdfs.file-name=kafkastream --hdfs.file-extension=txt --spring.cloud.stream.bindings.input.consumer.headerMode=raw" --name mykafkastream
请帮我解决这个问题。
可能是数据还没有写入hdfs磁盘。您可以在测试时强制使用 flush/sync。尝试设置 --hdfs.enable-sync=true --hdfs.flush-timeout=10000 这样无论缓冲区是否已满，数据每 10 秒写入一次 hdfs。
我使用 Kafka 作为源，我想使用 HDFS 将 Kafka 上的消息写入 HDFS sink.But我看到在 HDFS 上创建了文件，但 Kafka 上的消息没有写入 HDFS file.Please 在 Stream DSL 下方找到。
stream create --definition ":streaming > hdfs --spring.hadoop.fsUri=hdfs://127.0.0.1:50071 --hdfs.directory=/ws/output --hdfs.file-name=kafkastream --hdfs.file-extension=txt --spring.cloud.stream.bindings.input.consumer.headerMode=raw" --name mykafkastream
请帮我解决这个问题。
可能是数据还没有写入hdfs磁盘。您可以在测试时强制使用 flush/sync。尝试设置 --hdfs.enable-sync=true --hdfs.flush-timeout=10000 这样无论缓冲区是否已满，数据每 10 秒写入一次 hdfs。