使用 Tez 执行引擎将文件系统添加到 Hive
Add Filesystem to Hive with Tez execution engine
我在使用 Tez 执行引擎针对外部 ORC 执行查询时收到以下错误 table:
Vertex failed, vertexName=Map 6, vertexId=vertex_1504790331090_0008_1_01, diagnostics=[Vertex vertex_1504790331090_0008_1_01 [Map 6] killed/failed due to:ROOT_INPUT_INIT_FAILURE, Vertex Input: item initializer failed,
vertex=vertex_1504790331090_0008_1_01 [Map 6], java.lang.RuntimeException:
java.lang.ClassNotFoundException: Class org.apache.
hadoop.fs.nfs.NFSv3FileSystem not found
at
org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2241)
at
org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2780)
at
org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2793)
at org.apache.hadoop.fs.FileSystem.access0(FileSystem.java:99)
at
org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2829)
但是,当我 运行 使用 MapReduce 引擎进行查询时,它工作正常。我已将正确的行添加到 core-site.xml,我尝试将充当协议驱动程序的 jar 文件添加到 hive-site.xml.
为了让 Hive+Tez 支持额外的文件系统,我需要在哪里添加 jar 或修改配置?
在 tez-site.xml 文件中,配置 tez.lib.uris 属性 以包含所需 jar 的路径。
我在使用 Tez 执行引擎针对外部 ORC 执行查询时收到以下错误 table:
Vertex failed, vertexName=Map 6, vertexId=vertex_1504790331090_0008_1_01, diagnostics=[Vertex vertex_1504790331090_0008_1_01 [Map 6] killed/failed due to:ROOT_INPUT_INIT_FAILURE, Vertex Input: item initializer failed,
vertex=vertex_1504790331090_0008_1_01 [Map 6], java.lang.RuntimeException:
java.lang.ClassNotFoundException: Class org.apache.
hadoop.fs.nfs.NFSv3FileSystem not found
at
org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2241)
at
org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2780)
at
org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2793)
at org.apache.hadoop.fs.FileSystem.access0(FileSystem.java:99)
at
org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2829)
但是,当我 运行 使用 MapReduce 引擎进行查询时,它工作正常。我已将正确的行添加到 core-site.xml,我尝试将充当协议驱动程序的 jar 文件添加到 hive-site.xml.
为了让 Hive+Tez 支持额外的文件系统,我需要在哪里添加 jar 或修改配置?
在 tez-site.xml 文件中,配置 tez.lib.uris 属性 以包含所需 jar 的路径。