如何使用 Spring Cloud Dataflow 知道文件何时在 HDFS 上沉没

Question

我正在下载文件源并逐行创建和流式处理，最终汇入 HDFS。 为此，我使用 Spring Cloud Dataflow + Kafka。

问题：有什么办法可以知道什么时候完整的文件已经下沉到HDFS中触发事件了？

Answer 1

is there any way to know when the complete file has been sunk into HDFS to trigger an event?

这种类型的用例通常属于 task/batch 而不是流式管道。如果您构建一个 filehdfs 任务 ( 批处理作业 ) 应用程序，您可以让一个流监听各种任务事件，以便做出进一步的下游决策或数据处理。

更多详细信息，请参阅参考指南中的“Subscribing to Task/Batch Events”。