Hive Select job.splitmetainfo 的 Count(*) filenotfound 异常
Hive Select Count(*) filenotfound exception for job.splitmetainfo
我有一个 hiveserver2 运行ning 并编写了一个 java 程序来从 hive 查询。
我试过这个查询
SELECT * FROM table1
其中,'table1' 是配置单元中的 table 名称,它工作正常并给了我结果。
但是当我尝试 运行
SELECT COUNT(*) FROM table1
它引发了异常
Exception in thread "main" java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
我查看了日志,这被记录了
Job init failed : org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.io.FileNotFoundException: File does not exist: hdfs://vseccoetv04:9000/tmp/hadoop-yarn/staging/anonymous/.staging/job_1453359797695_0017/job.splitmetainfo
at org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl$InitTransition.createSplits(JobImpl.java:1568)
at org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl$InitTransition.transition(JobImpl.java:1432)
at org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl$InitTransition.transition(JobImpl.java:1390)
....
我检查了很多地方,其他人也得到了 'FileNotFoundException' 但不是这个原因。
有什么办法可以解决这个问题吗?
好的,
我自己解决了这个问题:)
我之前在 hive-site.xml 文件中添加了一些属性来检查对事务的支持。我想我可能在那里添加了一些错误的值。现在,我删除了我添加的属性,并重新启动了配置单元服务。一切正常 :D
我有一个 hiveserver2 运行ning 并编写了一个 java 程序来从 hive 查询。
我试过这个查询
SELECT * FROM table1
其中,'table1' 是配置单元中的 table 名称,它工作正常并给了我结果。
但是当我尝试 运行
SELECT COUNT(*) FROM table1
它引发了异常
Exception in thread "main" java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
我查看了日志,这被记录了
Job init failed : org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.io.FileNotFoundException: File does not exist: hdfs://vseccoetv04:9000/tmp/hadoop-yarn/staging/anonymous/.staging/job_1453359797695_0017/job.splitmetainfo
at org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl$InitTransition.createSplits(JobImpl.java:1568)
at org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl$InitTransition.transition(JobImpl.java:1432)
at org.apache.hadoop.mapreduce.v2.app.job.impl.JobImpl$InitTransition.transition(JobImpl.java:1390)
....
我检查了很多地方,其他人也得到了 'FileNotFoundException' 但不是这个原因。
有什么办法可以解决这个问题吗?
好的,
我自己解决了这个问题:)
我之前在 hive-site.xml 文件中添加了一些属性来检查对事务的支持。我想我可能在那里添加了一些错误的值。现在,我删除了我添加的属性,并重新启动了配置单元服务。一切正常 :D