ConvertJsonToSQL 用于 Hive 插入查询
ConvertJsonToSQL for Hive Insert query
我想插入 Json 到配置单元数据库。
我尝试使用 ConvertJsonToSQL Ni-Fi 处理器将 Json 转换为 SQL。如何在我的查询中使用 PARTITION (....) 部分？？
我可以这样做还是应该使用 ReplaceText 处理器进行查询？
您使用的是哪个版本的 Hive？ PutHiveStreaming 和 PutHive3Streaming（分别）有 Hive 1.2 和 Hive 3 版本，可以让您将数据直接放入 Hive，而无需发出 HiveQL 语句。对于 ORC 格式的外部 Hive table，还有 ConvertAvroToORC（对于 Hive 1.2）和 PutORC（对于 Hive 3）处理器。
假设这些不适用于您的用例，您还可以考虑使用 ConvertRecord 和 FreeFormTextRecordSetWriter，它使用 PARTITION 语句等生成 HiveQL。与尝试修补 SQL 语句以将其转换为分区 table.
的 HiveQL 相比，它提供了更多的灵活性
编辑：我忘了提及由于 space 原因，Hive 3 NAR/components 未包含在 NiFi 版本中。您可以找到适用于 NiFi 1.11.4 here.
的 Hive 3 NAR
我想插入 Json 到配置单元数据库。
我尝试使用 ConvertJsonToSQL Ni-Fi 处理器将 Json 转换为 SQL。如何在我的查询中使用 PARTITION (....) 部分？？
我可以这样做还是应该使用 ReplaceText 处理器进行查询？
您使用的是哪个版本的 Hive？ PutHiveStreaming 和 PutHive3Streaming（分别）有 Hive 1.2 和 Hive 3 版本，可以让您将数据直接放入 Hive，而无需发出 HiveQL 语句。对于 ORC 格式的外部 Hive table，还有 ConvertAvroToORC（对于 Hive 1.2）和 PutORC（对于 Hive 3）处理器。
假设这些不适用于您的用例，您还可以考虑使用 ConvertRecord 和 FreeFormTextRecordSetWriter，它使用 PARTITION 语句等生成 HiveQL。与尝试修补 SQL 语句以将其转换为分区 table.
的 HiveQL 相比，它提供了更多的灵活性编辑：我忘了提及由于 space 原因，Hive 3 NAR/components 未包含在 NiFi 版本中。您可以找到适用于 NiFi 1.11.4 here.
的 Hive 3 NAR