Spark Scala：JniBasedUnixGroupsMapping：获取 XXX 组时出错：找不到用户名
Spark Scala : JniBasedUnixGroupsMapping: Error getting groups for XXX: The user name could not be found
我一直在使用 scala IDE 中的 spark 从我的本地系统连接到 Hive（在集群中），最后将我的 hive-site.xml 正确地放在 Spark/conf 文件夹中并且在 class 路径中并且能够连接到 Metastore 但无法访问配置单元表。
如何更改 HiveContext 的用户
15/12/22 10:28:42 INFO ParseDriver：解析命令：显示表
15/12/22 10:28:43 INFO ParseDriver：解析已完成
22 年 12 月 15 日 10:28:45 信息元存储：尝试使用 URI thrift 连接到元存储：//Server.com:9083
22 年 12 月 15 日 10:28:46 信息 JniBasedUnixGroupsMapping：错误 获取 XXXX 的组：找不到用户名。
15/12/22 10:28:46 警告用户组信息：用户 XXXXX 没有可用的组
15/12/22 10:28:46 信息元存储：已连接到元存储。
线程异常 "main" java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
在 org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:353)
在 org.apache.spark.sql.hive.HiveContext$$anonfun$4.apply(HiveContext.scala:235)
在 org.apache.spark.sql.hive.HiveContext$$anonfun$4.apply(HiveContext.scala:231)
在 scala.Option.orElse(Option.scala:257)
在 org.apache.spark.sql.hive.HiveContext.x$3$lzycompute(HiveContext.scala:231)
在 org.apache.spark.sql.hive.HiveContext.x$3(HiveContext.scala:229)
在 org.apache.spark.sql.hive.HiveContext.hiveconf$lzycompute(HiveContext.scala:229)
在 org.apache.spark.sql.hive.HiveContext.hiveconf（HiveContext.scala:229）
在 org.apache.spark.sql.hive.HiveMetastoreCatalog.(HiveMetastoreCatalog.scala:55)
在 org.apache.spark.sql.hive.HiveContext$$anon$1.(HiveContext.scala:253)
在 org.apache.spark.sql.hive.HiveContext.catalog$lzycompute(HiveContext.scala:253)
在 org.apache.spark.sql.hive.HiveContext.catalog(HiveContext.scala:253)
在 org.apache.spark.sql.hive.HiveContext$$anon$3.(HiveContext.scala:263)
在 org.apache.spark.sql.hive.HiveContext.analyzer$lzycompute(HiveContext.scala:263)
在 org.apache.spark.sql.hive.HiveContext.analyzer(HiveContext.scala:262)
在 org.apache.spark.sql.SQLContext$QueryExecution.analyzed$lzycompute(SQLContext.scala:411)
在 org.apache.spark.sql.SQLContext$QueryExecution.analyzed(SQLContext.scala:411)
在 org.apache.spark.sql.SchemaRDDLike$class.$init$(SchemaRDDLike.scala:58)
在 org.apache.spark.sql.SchemaRDD.(SchemaRDD.scala:108)
在 org.apache.spark.sql.hive.HiveContext.hiveql(HiveContext.scala:102)
在 org.apache.spark.sql.hive.HiveContext.hql(HiveContext.scala:106)
在 com.Spark.ConnectToHadoop.CountWords$.main(CountWords.scala:50)
在 com.Spark.ConnectToHadoop.CountWords.main(CountWords.scala)
原因：java.lang.ClassNotFoundException：org.apache.tez.dag.api.SessionNotRunning
在 java.net.URLClassLoader$1.run（未知来源）
在 java.net.URLClassLoader$1.run（未知来源）
在 java.security.AccessController.doPrivileged（本机方法）
在 java.net.URLClassLoader.findClass（未知来源）
在 java.lang.ClassLoader.loadClass（来源不明）
在 sun.misc.Launcher$AppClassLoader.loadClass（未知来源）
在 java.lang.ClassLoader.loadClass（来源不明）
... 还有 23 个
这个答案与您的问题无关，但是，您的问题与显示的异常无关...
在您提供给 Spark 的 hive-site.xml 中，将 属性hive.execution.engine 从 "tez" 更改为 （需要 TEZ 运行-时间) 默认为 "mr".
我一直在使用 scala IDE 中的 spark 从我的本地系统连接到 Hive（在集群中），最后将我的 hive-site.xml 正确地放在 Spark/conf 文件夹中并且在 class 路径中并且能够连接到 Metastore 但无法访问配置单元表。
如何更改 HiveContext 的用户
15/12/22 10:28:42 INFO ParseDriver：解析命令：显示表 15/12/22 10:28:43 INFO ParseDriver：解析已完成 22 年 12 月 15 日 10:28:45 信息元存储：尝试使用 URI thrift 连接到元存储：//Server.com:9083 22 年 12 月 15 日 10:28:46 信息 JniBasedUnixGroupsMapping：错误 获取 XXXX 的组：找不到用户名。
15/12/22 10:28:46 警告用户组信息：用户 XXXXX 没有可用的组 15/12/22 10:28:46 信息元存储：已连接到元存储。
线程异常 "main" java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning 在 org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:353) 在 org.apache.spark.sql.hive.HiveContext$$anonfun$4.apply(HiveContext.scala:235) 在 org.apache.spark.sql.hive.HiveContext$$anonfun$4.apply(HiveContext.scala:231) 在 scala.Option.orElse(Option.scala:257) 在 org.apache.spark.sql.hive.HiveContext.x$3$lzycompute(HiveContext.scala:231) 在 org.apache.spark.sql.hive.HiveContext.x$3(HiveContext.scala:229) 在 org.apache.spark.sql.hive.HiveContext.hiveconf$lzycompute(HiveContext.scala:229) 在 org.apache.spark.sql.hive.HiveContext.hiveconf（HiveContext.scala:229） 在 org.apache.spark.sql.hive.HiveMetastoreCatalog.(HiveMetastoreCatalog.scala:55) 在 org.apache.spark.sql.hive.HiveContext$$anon$1.(HiveContext.scala:253) 在 org.apache.spark.sql.hive.HiveContext.catalog$lzycompute(HiveContext.scala:253) 在 org.apache.spark.sql.hive.HiveContext.catalog(HiveContext.scala:253) 在 org.apache.spark.sql.hive.HiveContext$$anon$3.(HiveContext.scala:263) 在 org.apache.spark.sql.hive.HiveContext.analyzer$lzycompute(HiveContext.scala:263) 在 org.apache.spark.sql.hive.HiveContext.analyzer(HiveContext.scala:262) 在 org.apache.spark.sql.SQLContext$QueryExecution.analyzed$lzycompute(SQLContext.scala:411) 在 org.apache.spark.sql.SQLContext$QueryExecution.analyzed(SQLContext.scala:411) 在 org.apache.spark.sql.SchemaRDDLike$class.$init$(SchemaRDDLike.scala:58) 在 org.apache.spark.sql.SchemaRDD.(SchemaRDD.scala:108) 在 org.apache.spark.sql.hive.HiveContext.hiveql(HiveContext.scala:102) 在 org.apache.spark.sql.hive.HiveContext.hql(HiveContext.scala:106) 在 com.Spark.ConnectToHadoop.CountWords$.main(CountWords.scala:50) 在 com.Spark.ConnectToHadoop.CountWords.main(CountWords.scala) 原因：java.lang.ClassNotFoundException：org.apache.tez.dag.api.SessionNotRunning 在 java.net.URLClassLoader$1.run（未知来源） 在 java.net.URLClassLoader$1.run（未知来源） 在 java.security.AccessController.doPrivileged（本机方法） 在 java.net.URLClassLoader.findClass（未知来源） 在 java.lang.ClassLoader.loadClass（来源不明） 在 sun.misc.Launcher$AppClassLoader.loadClass（未知来源） 在 java.lang.ClassLoader.loadClass（来源不明） ... 还有 23 个
这个答案与您的问题无关，但是，您的问题与显示的异常无关...
在您提供给 Spark 的 hive-site.xml 中，将 属性hive.execution.engine 从 "tez" 更改为 （需要 TEZ 运行-时间) 默认为 "mr".