Getting java.io.FileNotFoundException: File does not exist: hive-exec-2.1.0.jar 尝试在 Apache Kylin 中为示例数据构建多维数据集时出错
Getting java.io.FileNotFoundException: File does not exist: hive-exec-2.1.0.jar error while trying to build cubes for Sample data in Apache Kylin
我使用以下技术的以下版本安装了 Apache kylin：-
Apache Hadoop: - 2.7.3
Apache Hive: - 2.1.0
Apache Hbase:- 1.2.4
Apache Kylin: - 1.6
我可以使用设置中提供的 sample.sh 文件在 Apache Kylin 中加载数据。但是，当我尝试为某个时间范围构建多维数据集时，在 'Build Cube' 过程
的第 3 步中出现以下错误
File does not exist:
hdfs://localhost:54310/app/hadoop/tmp/mapred/staging/hduser341814501/.staging/job_local341814501_0007/libjars/hive-exec-2.1.0.jar
其中hduser是已经启动kylin并且正在尝试构建cube的用户
我检查了目录结构，发现 app/hadoop/tmp/mapred/staging/hduser341814501/.staging folder 中不存在任何目录或文件。
kylin 是否尝试创建此目录结构并将 hive-exec-2.1.0.jar 放入该目录结构，但由于某些权限问题而无法这样做？
还是其他错误导致的？
不过，kylin 正在寻找的 jar 存在于 hdfs://localhost:54310/usr/local//hivr/lib folder 中。 kylin 是否也有可能在错误的位置寻找罐子？
谁能帮我解决我做错了什么？
Kylin 会从 classpath 中寻找 hive jar，然后在提交 MR 作业时用 "tmpjars" 属性 指定它。请检查您的环境：
1) 运行 $KYLIN_HOME/bin/find-hive-dependency.sh，检查输出；
2) 在$KYLIN_HOME/logs/kylin.log中搜索"Hive Dependencies After Filtered"，应该记录提交到Hadoop作业的依赖jar，如：
logs/kylin.log.2017-03-07:2017-03-07 11:58:18,772 INFO [pool-6-thread-16] common.AbstractHadoopJob:203 : Hive Dependencies After Filtered: /usr/hdp/2.5.4.0-121/hive/lib/hive-metastore-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive/lib/hive-exec-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive-hcatalog/share/hcatalog/hive-hcatalog-core-1.2.1000.2.5.4.0-121.jar
还要检查 Kylin 运行s 的机器上是否存在 jar。
我猜你 运行ning Kylin 在一个独立的主机上，你也部署了你的 hadoop & hive & hbase？如果是这样，您是否启动了 yarn 和 history server？在开始 Kylin 之前尝试 cd 到 $HADOOP_HOME 和 运行 ./sbin/start-yarn.sh 和 ./sbin/mr-jobhistory-daemon.sh start historyserver。
我使用以下技术的以下版本安装了 Apache kylin：-
Apache Hadoop: - 2.7.3
Apache Hive: - 2.1.0
Apache Hbase:- 1.2.4
Apache Kylin: - 1.6
我可以使用设置中提供的 sample.sh 文件在 Apache Kylin 中加载数据。但是，当我尝试为某个时间范围构建多维数据集时，在 'Build Cube' 过程
File does not exist:
hdfs://localhost:54310/app/hadoop/tmp/mapred/staging/hduser341814501/.staging/job_local341814501_0007/libjars/hive-exec-2.1.0.jar
其中hduser是已经启动kylin并且正在尝试构建cube的用户
我检查了目录结构，发现 app/hadoop/tmp/mapred/staging/hduser341814501/.staging folder 中不存在任何目录或文件。
kylin 是否尝试创建此目录结构并将 hive-exec-2.1.0.jar 放入该目录结构，但由于某些权限问题而无法这样做？
还是其他错误导致的？
不过，kylin 正在寻找的 jar 存在于 hdfs://localhost:54310/usr/local//hivr/lib folder 中。 kylin 是否也有可能在错误的位置寻找罐子？
谁能帮我解决我做错了什么？
Kylin 会从 classpath 中寻找 hive jar，然后在提交 MR 作业时用 "tmpjars" 属性 指定它。请检查您的环境：
1) 运行 $KYLIN_HOME/bin/find-hive-dependency.sh，检查输出；
2) 在$KYLIN_HOME/logs/kylin.log中搜索"Hive Dependencies After Filtered"，应该记录提交到Hadoop作业的依赖jar，如：
logs/kylin.log.2017-03-07:2017-03-07 11:58:18,772 INFO [pool-6-thread-16] common.AbstractHadoopJob:203 : Hive Dependencies After Filtered: /usr/hdp/2.5.4.0-121/hive/lib/hive-metastore-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive/lib/hive-exec-1.2.1000.2.5.4.0-121.jar,/usr/hdp/2.5.4.0-121/hive-hcatalog/share/hcatalog/hive-hcatalog-core-1.2.1000.2.5.4.0-121.jar
还要检查 Kylin 运行s 的机器上是否存在 jar。
我猜你 运行ning Kylin 在一个独立的主机上，你也部署了你的 hadoop & hive & hbase？如果是这样，您是否启动了 yarn 和 history server？在开始 Kylin 之前尝试 cd 到 $HADOOP_HOME 和 运行 ./sbin/start-yarn.sh 和 ./sbin/mr-jobhistory-daemon.sh start historyserver。