为什么 Flink 只有 Avro 的 keyValue sink writer?
Why does Flink only have a keyValue sink writer for Avro?
我想知道为什么 Flink 有一个 AvroKeyValueSinkWriter,但是没有一个简单的具有常规 Schema(非键值)的 AvroSinkWriter。
我用它来生成接近流式传输的 Avro 文件,我每小时将它们批处理一次到 Parquet 文件。
我用的是Flink的BucktingSink
Key-Value Schema 在生成 Parquet 时给我带来了一些困难,
我错过了什么?谢谢!
你不会在 Flink 上找到太多帮助。
文档依赖javadoc,例子几乎都是一行,字数统计等废话。
我还没有看到 "pro" flink 编码器可以做什么,以了解执行一些最简单任务的正确方法。从 Kafka 读取,解析 avro 或 json 记录,然后将特定数据放入文件系统或 hdfs 会很棒。你不会找到任何这样的例子。
您可能认为现在可以在网上搜索一些可靠的复杂示例。
这些项目中的大多数都要求您通读所有源代码并尝试找出一种方法。
最后,Spring 启动并将代码插入服务比购买 Flink 和某种程度上的 Spark 更容易。
祝你好运。
我想知道为什么 Flink 有一个 AvroKeyValueSinkWriter,但是没有一个简单的具有常规 Schema(非键值)的 AvroSinkWriter。
我用它来生成接近流式传输的 Avro 文件,我每小时将它们批处理一次到 Parquet 文件。 我用的是Flink的BucktingSink
Key-Value Schema 在生成 Parquet 时给我带来了一些困难, 我错过了什么?谢谢!
你不会在 Flink 上找到太多帮助。
文档依赖javadoc,例子几乎都是一行,字数统计等废话。
我还没有看到 "pro" flink 编码器可以做什么,以了解执行一些最简单任务的正确方法。从 Kafka 读取,解析 avro 或 json 记录,然后将特定数据放入文件系统或 hdfs 会很棒。你不会找到任何这样的例子。
您可能认为现在可以在网上搜索一些可靠的复杂示例。
这些项目中的大多数都要求您通读所有源代码并尝试找出一种方法。
最后,Spring 启动并将代码插入服务比购买 Flink 和某种程度上的 Spark 更容易。
祝你好运。