windows 上的 hadoop 用户组

Question

有什么方法可以在 Windows 平台上将用户添加到 hdfs 组（任意）？我无法将 Windows 用户本身分配给组，因为我在机器上没有管理员权限。

更广泛的问题是当我尝试在 hadoop 上运行映射任务时，它会休眠并用 "security.UserGroupInformation: No groups available for user" 警告我。如果有任何解决方法，我将很高兴知道。

Answer 1

The more wide problem is when I try to run mapred task on hadoop, it sleeps and warns me with "security.UserGroupInformation: No groups available for user".

从 Apache Hadoop 2.3.0（以及更高版本）开始，Hadoop 支持在 Hadoop 配置中定义静态组映射的功能 (core-site.xml)。 Apache JIRA HADOOP-10142 跟踪了此功能的开发。

例如，您可以在 core-site.xml 中指定用户 "myuser" 属于一个组："mygroup"。当定义了静态组映射时，Hadoop 内所有进一步的组查找机制都会被绕过，因此您不会再看到此错误。

这是来自 core-default.xml

的属性的文档

<property>
  <name>hadoop.user.group.static.mapping.overrides</name>
  <value>dr.who=;</value>
  <description>
    Static mapping of user to groups. This will override the groups if
    available in the system for the specified user. In otherwords, groups
    look-up will not happen for these users, instead groups mapped in this
    configuration will be used.
    Mapping should be in this format.
    user1=group1,group2;user2=;user3=group2;
    Default, "dr.who=;" will consider "dr.who" as user without groups.
  </description>
</property>

如果您想使用此功能，则需要在更改配置后重新启动 Hadoop 守护进程。

使用此功能是一个 trade-off，因为它通常比依赖 OS 进行组解析更难维护。但是，它可以帮助管理像这样的服务帐户上的频繁组查找，并且很少更改组成员身份。在从 LDAP 获取组成员身份的环境中，它还可以通过阻止这些组查找来大大减少 LDAP 基础结构上的负载。

windows 上的 hadoop 用户组

Usergroup for hadoop on windows

hadoop

usergroups