hadoop 辅助节点的问题

Question

我是 hadoop 的新手。当我运行 wordcount 测试项目时，一切正常。但是，我无法在 http://localhost:50030 访问 JobTracker。事实上，当我得到 secondary node 日志文件时，我收到异常消息：

java.io.IOException: Bad edit log manifest (expected txid = 3: [[21,22], [23,24]
[8683,8684], [8685,8686], [8687,8688], [8689,8690], [8691,8692], [8693,8694], [8695,8696], [8697,8698], [8699,8700]]...
....
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.downloadCheckpointFiles(SecondaryNameNode.java:438)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doCheckpoint(SecondaryNameNode.java:540)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doWork(SecondaryNameNode.java:395)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.run(SecondaryNameNode.java:361)
    at org.apache.hadoop.security.SecurityUtil.doAsLoginUserOrFatal(SecurityUtil.java:415)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.run(SecondaryNameNode.java:357)
    at java.lang.Thread.run(Thread.java:745)

顺便说一句，当我运行 jps 时，我得到 53745 JobHistoryServer 77259 Jps

更新：这是我的配置

在core-site.xml

<configuration>
  <property>
     <name>hadoop.tmp.dir</name>  
<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
    <description>A base for other temporary directories.</description>
  </property>
  <property>
     <name>fs.default.name</name>                                     
     <value>hdfs://localhost:9000</value>                             
  </property>                                                        
</configuration>

在hdfs-site.xml

<configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
     </property>
 </configuration>

mapred-site.xml

<configuration>
       <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9010</value>
       </property>
 </configuration>

我的 yarn-site.xml

中没有任何设置

Answer 1

如果您使用的是最新版本的 Hadoop，则 Job Tracker 将不可用。工作跟踪器被 Resource Manager 和 History Server 取代。

如果您想访问过去的工作详细信息，请转到 http://hostname:19888。这是作业历史服务器的 Web UI 地址。

详情请参考Hadoop Cluster Setup。

hadoop 辅助节点的问题

issue with hadoop secondary node

logging

hadoop

cluster-computing