R 没有连接到 HDFS

Question

为什么 R 没有连接到 Hadoop？

我正在使用 'rhdfs' 包使用 R 连接到 HDFS。安装了 'rJava' 包并加载了 rhdfs 包。

HADOOP_CMD 环境变量在 R 中设置使用：

Sys.setenv(HADOOP_CMD='/usr/local/hadoop/bin')

但是当给出hdfs.init()函数时，会产生如下错误信息：

sh: 1: /usr/local/hadoop/bin: Permission denied
Error in .jnew("org/apache/hadoop/conf/Configuration") : 
java.lang.ClassNotFoundException
In addition: Warning message:
running command '/usr/local/hadoop/bin classpath' had status 126

此外，'rmr2' 库已加载，并键入以下代码：

ints = to.dfs(1:100)

生成了下面给出的消息：

sh: 1: /usr/local/hadoop/bin: Permission denied

R-Hadoop 包仅供 'root' 用户访问，而不供 'hduser'（Hadoop 用户）访问，因为它们是在运行由 [=34] 时安装的=] 用户.

Answer 1

这样试试。

Sys.setenv(HADOOP_CMD='/usr/local/hadoop/bin/hadoop')

Sys.setenv(JAVA_HOME='/usr/lib/jvm/java-6-openjdk-amd64')

library(rhdfs)

hdfs.init()

please give the correct HADOOP_CMD path  extend with   /bin/hadoop

Answer 2

很简单，遇到此类问题只有 2 个原因

1) 路径错误 2) 没有 privileges/permissions 到那个罐子 ok 不仅包括其他系统路径。如下所示。

Sys.setenv(HADOOP_HOME="/home/hadoop/path")

Sys.setenv(HADOOP_CMD="/home/hadoop/path/bin/hadoop")

Sys.setenv(HADOOP_STREAMING="/home/hadoop/path/streaming-jar-file.jar")

Sys.setenv(JAVA_HOME="/home/hadoop/java/path")

然后包括 ibrary(rmr2) 和 library(rhdfs) 路径，肯定不会出现错误。

但是你的问题是权限问题。因此，作为 root 授予您所有权限 (755) 然后运行那个 jar 文件，肯定不会显示该错误。

R 没有连接到 HDFS

R is not connecting to HDFS

hadoop

r

mapreduce

jdk1.6

rhadoop