Apache Hive 无法在 Windows 10 和 Cygwin 上初始化

Question

我在 windows 10 下 Hadoop/HBase/Pig 所有运行成功。但是当我使用 this guide 安装 Hive 3.1.2 时，我在初始化 Hive 时遇到错误Cygwin:

$HIVE_HOME/bin/schematool -dbType derby -initSchema
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/D:/Hadoop/Hive/apache-hive-3.1.2-bin/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/D:/Hadoop/hadoop-3.2.1/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
        at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338)
        at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536)
        at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554)
        at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:448)
        at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:5141)
        at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:5104)
        at org.apache.hive.beeline.HiveSchemaTool.<init>(HiveSchemaTool.java:96)
        at org.apache.hive.beeline.HiveSchemaTool.main(HiveSchemaTool.java:1473)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:236)

我发现这个 Whosebug 关于这个问题，但是解决方案是在 windows 管理命令提示符下为 cygwin 创建一个指向适当路径的符号链接，我已经用这个命令：

mklink /J  D:\cygdrive\d\ D:\

如何在 windows 下解决这个问题？

Answer 1

为了消除我发现的第一个错误（并在 OP 中发布），我不得不转到 $HIVE_HOME/lib 目录并删除这个旧的番石榴库文件：guava-19.0.jar

我必须确保我从 Hadoop 库复制的番石榴库在那里：guava-27.0-jre.jar

在下一次尝试中我得到了一个不同的错误：

schematool -dbType derby -initSchema
Error: FUNCTION 'NUCLEUS_ASCII' already exists. (state=X0Y68,code=30000)
org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!
Underlying cause: java.io.IOException : Schema script failed, errorcode 2
Use --verbose for detailed stacktrace.
*** schemaTool failed ***

我找到了解决该问题的方法 here。

我必须做的是去 $HIVE_HOME/scripts/metastore/upgrade/derby/ 目录找到 hive-schema-3.1.0.derby.sql 文件，然后编辑并找到并注释掉这些行：

--CREATE FUNCTION "APP"."NUCLEUS_ASCII" (C CHAR(1)) RETURNS INTEGER LANGUAGE JAVA PARAMETER STYLE JAVA READS SQL DATA CALLED ON NULL INPUT EXTERNAL NAME 'org.datanucleus.store.rdbms.adapter.DerbySQLFunction.ascii';

--CREATE FUNCTION "APP"."NUCLEUS_MATCHES" (TEXT VARCHAR(8000),PATTERN VARCHAR(8000)) RETURNS INTEGER LANGUAGE JAVA PARAMETER STYLE JAVA READS SQL DATA CALLED ON NULL INPUT EXTERNAL NAME 'org.datanucleus.store.rdbms.adapter.DerbySQLFunction.matches' ;

一旦这两行被注释掉，我切换到 $HIVE_HOME/bin/ 目录并重新运行 schematool -dbType derby -initSchema 命令，这次成功了！

Initialization script completed
schemaTool completed

我希望这个答案对其他人有用。

Apache Hive 无法在 Windows 10 和 Cygwin 上初始化

Apache Hive fails to initialize on Windows 10 and Cygwin

windows

hadoop

hive