使用 Cloudera Manager 的 Cloudera QuickStart VM 5.12 上的 Hive 元存储失败

Hive Meta Store Failure on Cloudera QuickStart VM 5.12 with Cloudera Manager

Cloudera 声称拥有快速入门方法。我注意到这对我不起作用。

当我调用 spark-shell 时,我得到:

... WARN metastore.ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version

我觉得很困惑,毕竟这是一个快速入门而且看起来很奇怪。

所以:

  1. 我看到有 mysql 运行 元存储数据库。我可以访问这个很好。

  2. 如果使用 mysql 作为 hive metastore,是否需要启动 hive metastore?我也这么认为,但是...

  3. 我现在需要 Hive 服务器 2 到 运行 本地吗?或者我可以 运行 没有吗?

  4. Hive 选项卡上的 Cloudera Manager 告诉我我正在使用 mysql 并且我看到一个自动生成的 hive-site.xml.

简而言之,我不确定如何继续解决这个问题。其中一个日志正在谈论创建德比失败,例如...

Caused by: java.sql.SQLException: Failed to create database 'metastore_db', see the next exception for details.

简而言之,我正在寻求有关如何解决此问题的指导。

在我遇到的无数次崩溃之一之前,我有一个 SPARK/SCALA 的 sbt 程序集可以正常访问远程 MYSQL 数据库,所以我想知道这是否是可行的方法,并且spark-shell 和本地 Cloudera VM 都不稳定。

在挫折中寻求指导。 Data Bricks 就像梦一样。

提前致谢。

安装5.13,其他问题都没有了。但是注意到原因是什么。

全新安装完成后

sudo jps 

已执行,然后所有 Hadoop 服务都正常运行。检查了这个。

然后注意到 Cloudera Manager 控制台 (CMS) 从未显示。网上的建议是执行命令调用CM Express。

执行此操作后,CMS 会显示,但许多 Hadoop 服务需要(重新)启动。然后要点是 spark-shell 失控并且元存储不再可访问。总而言之,解决方案不是很明显。

手动安装 Hadoop 可能是最佳选择,但需要明确的集成规范。然后还有 Spark 2.x 不受支持和 KUDU 不存在的问题,包裹与包裹。