Apache Ignite Hadoop 加速器 MapReduce 作业不在 JobHistory 服务器中

Question

我目前运行正在为 MapReduce 使用 Apache Ignite Hadoop 加速器。作业运行，但我无法在 JobHistoryServer 中看到它们。我不希望在 Yarn 的资源管理器中看到作业（也没有）。

我正在运行我的 MapReduce 作业中 hadoop --config path/to/config/ jar path/to/jar ....

在 mapred-site.xml 中，我添加了

<property>
  <name>mapreduce.framework.name</name>
  <value>ignite</value>
</property>
<property>
  <name>mapreduce.jobtracker.address</name>
  <value>[your_host]:11211</value>
</property>

我的 mapreduce.jobhistory.* 设置没有改变。

在核心-site.xml我添加了

<property>
  <name>fs.default.name</name>
  <value>igfs://igfs@/</value>
</property>
<property>
  <name>fs.igfs.impl</name>
  <value>org.apache.ignite.hadoop.fs.v1.IgniteHadoopFileSystem</value>
</property>
<property>
  <name>fs.AbstractFileSystem.igfs.impl</name>
  <value>org.apache.ignite.hadoop.fs.v2.IgniteHadoopFileSystem</value>
</property>

我还在 $HADOOP_HOME路径。同样，我导出了 HADOOP_HOME、HADOOP_COMMON_HOME、HADOOP_HDFS_HOME 和 HADOOP_MAPRED_HOME.

Ignite 不支持此功能还是我做错了什么？

此外，有没有办法在 Ignite 上跟踪 MapReduce 作业运行ning？

Answer 1

目前 Ignite 没有与 Hadoop 历史服务器集成，发布 https://issues.apache.org/jira/browse/IGNITE-3766 请求。

Apache Ignite Hadoop 加速器 MapReduce 作业不在 JobHistory 服务器中

Apache Ignite Hadoop Accelerator MapReduce Jobs are not in the JobHistory Server

hadoop

mapreduce

ignite