HDP 沙箱中 MongoDB Hadoop 连接器故障生成的 Hive 日志在哪里?

Where are the Hive logs generated by a MongoDB Hadoop connector failure in HDP Sandbox?

我遇到了一个奇怪的错误,我在 Azure Hortonworks 沙盒的任何日志中都找不到。 我正在尝试执行以下操作方法来尝试 Mongodb 与 Hadoop (Hive) 的集成:https://www.mongodb.com/blog/post/using-mongodb-hadoop-spark-part-2-hive-example,但是当我尝试在 [=32= 中创建 table 时] 使用 Hive,我收到以下错误(在 MR2 和 Tez 处理器上使用 hive CLI、beeline 和 Ambari Hive 视图):

Error: Error while processing statement:  FAILED: Execution Error, 
return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.com/mongodb/BasicDBObject (state=08S01,code=1)

好吧,谷歌搜索此消息我发现人们引用一些 java 日志来描述真正的异常是什么,并得出结论(大部分时间) mongodb-java-类路径中缺少驱动程序 jar。

我的第一个问题:这些描述真正异常的日志在哪里?因为查看 /var/log/hive*/*.log 和 Yarn ResourceManagerUI -> 日志,除了 "InterruptedException"、"ERROR applicationhistoryservice.ApplicationHistoryServer (LogAdapter.java:error(69)) - RECEIVED SIGNAL 15: SIGTERM" 等等,我什么都看不到……但没有什么真正有用的。

接下来,我添加了 mongo-hadoop-core 和 mongo-hadoop-hive jar(根据我的沙箱版本规范从 github 构建)和版本 3.3.0 mongodb-java-driver 在本地路径中,在 hive-site.xml 的 hive.aux.jars.path 部分中指定,最后重新启动我的 hive 服务(因此,包括 hive -server2)...但是没有办法让它工作,也没有办法获得更多信息来理解为什么它不是 运行...

我是不是忘记了什么? 感谢您的帮助!

好吧,我终于找到问题所在了。

jar bson-$MongoVersion.jar 和 mongodb-driver-core- $MongoVersion.jar 丢失。

即使连接器文档指定我们需要包括 mongo-hadoop-core-$connectorVersion.jar, mongo-hadoop-hive- $connectorVersion.jar 和 mongodb-driver-$mongoJavaDriver.jar 到 hadoop 类路径,似乎它也需要 bson 和 mongodb-driver-core 罐子。

最后,日志位于此处:/var/log/hive/hiveserver2.log。我不明白我怎么会在阅读这些日志时错过这样的消息,但是好吧,就在这里。