使用 Apache Hudi 进行 Spark 结构化流式传输
Spark structured streaming with Apache Hudi
我有一个要求,我需要使用结构化流将流写入 Hudi 数据集。我发现有一项规定可以解决 Apache Hudi Jira 问题,但想知道是否有人成功实施了这一点并举了一个例子。我正在尝试使用 spark structured streaming
将数据从 AWS Kinesis Firehose 结构化流式传输到 Apache Hudi
感谢快速帮助。
我知道至少有一位用户在 Hudi 中使用结构化流媒体接收器。 https://github.com/apache/incubator-hudi/blob/master/hudi-spark/src/test/scala/DataSourceTest.scala#L190 有帮助吗?
我有一个要求,我需要使用结构化流将流写入 Hudi 数据集。我发现有一项规定可以解决 Apache Hudi Jira 问题,但想知道是否有人成功实施了这一点并举了一个例子。我正在尝试使用 spark structured streaming
将数据从 AWS Kinesis Firehose 结构化流式传输到 Apache Hudi感谢快速帮助。
我知道至少有一位用户在 Hudi 中使用结构化流媒体接收器。 https://github.com/apache/incubator-hudi/blob/master/hudi-spark/src/test/scala/DataSourceTest.scala#L190 有帮助吗?