HDFS 不工作？

Question

我想在三个虚拟机运行 Ubuntu 操作系统上设置多节点hadoop。

我把一切都设置好了：我从其中任何一个连接到另一个。我配置 hadoop 文件。

enter code here
*This is core.site-xml*

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://Master1:54310</value>
</property>
</configuration>

This is hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name/</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

This is mapred.site-xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>Master1:54311</value> // this is my hostname for master node
</property>
</configuration>

![enter image description here][1]

命令行：

 inside hadoop I typed on command line:
 bin/hadoop namenode -format
 bin/hadoop start-all.sh
 jps
 bin/hadoop dfsadmin -report
enter code here

下图中的输出：提前谢谢你，我期待着你的帮助

Answer 1

首先，根据第二张图片，在运行新的 hadoop process.So 尝试这个 commond ps -e|grep java 并杀死所有 java进程。

然后，你必须确认你有写目录“/hadoop/*”的权限（看第三张图），这是一个基本选项。

最后，又是运行。

Answer 2

在 hdfs-site.xml 中更新以下属性然后尝试

<property>
    <name>dfs.name.dir</name>
    <value>file:/home/user/hadoop/name/</value>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>file:/home/user/hadoop/data</value>
</property>

我查看了日志，应该是路径错误。如上更改为适当的路径或创建两个文件夹 /home/user/hadoop/name 和 /home/user/hadoop/data 并在 hdfs-site.xml 文件中设置其路径。

日志

2015-06-24 02:57:19,997 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: can not create directory: /hadoop/data
2015-06-24 02:57:19,997 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
2015-06-24 02:57:19,998 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:

Answer 3

我解决了这个问题。问题是我没有为 hdfs 创建目录，当我创建文件夹时，对配置进行一些更改后它就可以工作了。下周左右，我将 post 配置的所有步骤和运行完全分布式模式下的 hadoop。

此致塞勒姆

HDFS 不工作？

HDFS is not working?

hadoop

hdfs