是否可以将 Hive 数据加载到 Vora 中?
Is it possible to load Hive data into Vora?
我查看了开发人员指南,但没有找到答案。到目前为止,我能够将 CSV 和 ORC 文件从 HDFS 加载到 Vora,但我能够从 Hive 加载吗?
在没有将 Hive 指定为源的情况下,我尝试使用 "paths" 等于 /apps/hive/warehouse/tablename/00000_0(或任何部分文件名)。但是,如果 Hive table 由 /tablename/ 目录中的多个文件表示,我必须在 "paths" 中明确列出它们,这不是一个理想的选择。有没有更好的方法?
更新:这个问题的上下文是,虽然 Vora 不提供数据持久性,但我想使用 Hive 仓库作为持久层,它最终仍然是文件,但有一些额外的组织。在 SAP 生态系统中使用 Hadoop,我可以利用带有 Hive 适配器的 SAP 数据服务将文件从外部加载到 Hadoop(如果需要,并将数据从 Hadoop 转储到文件),并通过 Vora 提供该数据。
没有将 Hive 表自动 load/migrate 到 Vora 的方法。在 HDFS 中基于(Hive 组织的)文件创建 Vora 表是可行的方法。
paths
选项允许使用通配符 *
从 HDFS 中的特定目录加载所有文件。这适用于 csv、parquet、orc。例如。 paths "/path_to_my_dir1/*,/path_to_my_dir2/*"
我查看了开发人员指南,但没有找到答案。到目前为止,我能够将 CSV 和 ORC 文件从 HDFS 加载到 Vora,但我能够从 Hive 加载吗?
在没有将 Hive 指定为源的情况下,我尝试使用 "paths" 等于 /apps/hive/warehouse/tablename/00000_0(或任何部分文件名)。但是,如果 Hive table 由 /tablename/ 目录中的多个文件表示,我必须在 "paths" 中明确列出它们,这不是一个理想的选择。有没有更好的方法?
更新:这个问题的上下文是,虽然 Vora 不提供数据持久性,但我想使用 Hive 仓库作为持久层,它最终仍然是文件,但有一些额外的组织。在 SAP 生态系统中使用 Hadoop,我可以利用带有 Hive 适配器的 SAP 数据服务将文件从外部加载到 Hadoop(如果需要,并将数据从 Hadoop 转储到文件),并通过 Vora 提供该数据。
没有将 Hive 表自动 load/migrate 到 Vora 的方法。在 HDFS 中基于(Hive 组织的)文件创建 Vora 表是可行的方法。
paths
选项允许使用通配符 *
从 HDFS 中的特定目录加载所有文件。这适用于 csv、parquet、orc。例如。 paths "/path_to_my_dir1/*,/path_to_my_dir2/*"