在 nifi 中将 JSON 转换为 CSV
Convert JSON to CSV in nifi
我想在 nifi 中将 JSON 个文件转换为 CSV。我们可以在 Python 和其他编程语言中实现这一点,并且有多篇关于它的文章。我有多个 JSON 文件,每个文件都有不同的架构(一个特定文件将只有一个架构)。我可以看到有将 CSV 转换为 JSON 和其他转换的模板。但是我没有看到任何将 JSON 数据转换为 CSV 的模板。我已经阅读了文章 https://community.hortonworks.com/articles/64069/converting-a-large-json-file-into-csv.html,但是在这里我们对模式进行了硬编码。由于我有多个文件并且每个文件都有不同的架构,所以我无法对架构进行硬编码。请有任何建议。
格式之间的转换通常通过插入适当的记录 reader 和记录写入器(在本例中为 JSON reader 和 CSV 写入器)通过 ConvertRecord 完成。
要使用记录处理器,您需要为数据定义 Avro 架构并将它们放入架构注册表中,NiFi 提供了一个本地注册表。
有很多关于记录内容的示例和 posts,此幻灯片显示了一个 CSV 到 JSON 的示例,但很容易为您的场景扭转这种情况:
https://www.slideshare.net/BryanBende/apache-nifi-record-processing
这个 post 还有一些其他信息:
https://bryanbende.com/development/2017/06/20/apache-nifi-records-and-schema-registries
我想在 nifi 中将 JSON 个文件转换为 CSV。我们可以在 Python 和其他编程语言中实现这一点,并且有多篇关于它的文章。我有多个 JSON 文件,每个文件都有不同的架构(一个特定文件将只有一个架构)。我可以看到有将 CSV 转换为 JSON 和其他转换的模板。但是我没有看到任何将 JSON 数据转换为 CSV 的模板。我已经阅读了文章 https://community.hortonworks.com/articles/64069/converting-a-large-json-file-into-csv.html,但是在这里我们对模式进行了硬编码。由于我有多个文件并且每个文件都有不同的架构,所以我无法对架构进行硬编码。请有任何建议。
格式之间的转换通常通过插入适当的记录 reader 和记录写入器(在本例中为 JSON reader 和 CSV 写入器)通过 ConvertRecord 完成。
要使用记录处理器,您需要为数据定义 Avro 架构并将它们放入架构注册表中,NiFi 提供了一个本地注册表。
有很多关于记录内容的示例和 posts,此幻灯片显示了一个 CSV 到 JSON 的示例,但很容易为您的场景扭转这种情况:
https://www.slideshare.net/BryanBende/apache-nifi-record-processing
这个 post 还有一些其他信息: https://bryanbende.com/development/2017/06/20/apache-nifi-records-and-schema-registries