使用 Apache Hudi 进行 Spark 结构化流式传输

Spark structured streaming with Apache Hudi

我有一个要求,我需要使用结构化流将流写入 Hudi 数据集。我发现有一项规定可以解决 Apache Hudi Jira 问题,但想知道是否有人成功实施了这一点并举了一个例子。我正在尝试使用 spark structured streaming

将数据从 AWS Kinesis Firehose 结构化流式传输到 Apache Hudi

感谢快速帮助。

我知道至少有一位用户在 Hudi 中使用结构化流媒体接收器。 https://github.com/apache/incubator-hudi/blob/master/hudi-spark/src/test/scala/DataSourceTest.scala#L190 有帮助吗?