HDFS NFS 网关 "No groups available for user" 警告
HDFS NFS gateway "No groups available for user" warnings
我正在使用 NFS 网关服务将一些数据提取到 HDFS (CDH 5.4.5) 中。
一切似乎都很好，直到我收到一条警告消息，通知我可用的日志记录目录 space 运行 非常低。我快速查找了大日志文件：
sudo find /var/log -type f -size +100000k -exec ls -lh {} \; | awk '{ print ": " }'
... 并注意到一个名为 /var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-[fqdn-of-name-node].log.out 的 34GB 文件。快速浏览内部显示几乎完全由以下警告组成：
2015-11-30 13:41:15,535 WARN org.apache.hadoop.security.UserGroupInformation: No groups available for user [some_user]
看到这里，我将some_user用户添加到hdfs组，即usermod -a -G hdfs some_user节点运行NFS网关上，然后重启NFS网关服务。不幸的是，"No groups available for user ..." 消息仍在以极快的速度被记录。
你能看出我做错了什么吗？是否需要在每个节点上设置 some_user 帐户，而不仅仅是 NFS 网关？我需要做的不仅仅是重启服务才能使更改生效吗？
需要在名称节点上设置用户及其组。默认情况下，Hadoop 从那里的 OS 设置获取组映射。参见此处的示例：https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html#Group_Mapping
我正在使用 NFS 网关服务将一些数据提取到 HDFS (CDH 5.4.5) 中。
一切似乎都很好，直到我收到一条警告消息，通知我可用的日志记录目录 space 运行 非常低。我快速查找了大日志文件：
sudo find /var/log -type f -size +100000k -exec ls -lh {} \; | awk '{ print ": " }'
... 并注意到一个名为 /var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-[fqdn-of-name-node].log.out 的 34GB 文件。快速浏览内部显示几乎完全由以下警告组成：
2015-11-30 13:41:15,535 WARN org.apache.hadoop.security.UserGroupInformation: No groups available for user [some_user]
看到这里，我将some_user用户添加到hdfs组，即usermod -a -G hdfs some_user节点运行NFS网关上，然后重启NFS网关服务。不幸的是，"No groups available for user ..." 消息仍在以极快的速度被记录。
你能看出我做错了什么吗？是否需要在每个节点上设置 some_user 帐户，而不仅仅是 NFS 网关？我需要做的不仅仅是重启服务才能使更改生效吗？
需要在名称节点上设置用户及其组。默认情况下，Hadoop 从那里的 OS 设置获取组映射。参见此处的示例：https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html#Group_Mapping