Hadoop 2.7.3 中的 HTrace

Question

我在 Ubuntu 14.04 的 2.6.0 x32 中成功地将 Zipkin 与 Hadoop Htrace 结合使用。现在我想将它与 Hadoop 2.7.3 一起使用，但我什至无法使用此 hadoop 版本启用 Htrace 跟踪。 2.6.0 中 HTrace 的设置与 2.7.3 不同，在这里可以看到-2.6.0 and here-2.7.3.

在 2.6.0 中，namenode 日志文件中有这一行：

INFO org.apache.hadoop.tracing.SpanReceiverHost: SpanReceiver org.htrace.impl.ZipkinSpanReceiver was loaded successfully.

我在 2.7.3 Namenode 日志文件中没有类似的内容。

由于 Zipkin 没有成功，我尝试使用在线教程中描述的 LocalFileSpanReceiver：

    <property>
        <name>hadoop.htrace.sampler</name>
        <value>AlwaysSampler</value>
     </property>
     <property>
        <name>hadoop.htrace.spanreceiver.classes</name>
        <value>org.apache.htrace.impl.LocalFileSpanReceiver</value>
      </property>
      <property>
        <name>hadoop.htrace.local-file-span-receiver.path</name>
        <value>/var/log/hadoop/htrace.out</value>
      </property>

/var/log/hadoop/ 存在，拥有 777 权限，但没有...

TracingFsShell 示例通过以下修改编译并运行：

SpanReceiverHost.get(new HdfsConfiguration(),"");

在hadoop-common-project/hadoop-common/src/main/java/org/apache/hadoop/tracing/SpanReceiverHost.java的hadoop源代码中可以找到，虽然在线教程没有使用那个方法签名。（来源 diff）

两个 Hadoop 版本的环境相同，java 1.7。此外，hadoop 是从源代码编译的，因为 Ubuntu 14.04 是 x32 位。 Hadoop 以全分布式模式部署，使用 lxc 容器。

core-site.xml 对于 Zipkin（Zipkin 参数 here）：

    <property>
        <name>hadoop.htrace.spanreceiver.classes</name>
        <value>org.apache.htrace.impl.ZipkinSpanReceiver</value>
    </property>
    <property>
            <name>hadoop.htrace.zipkin.scribe.hostname</name>
            <value>10.0.3.100</value>
    </property>
    <property>
            <name>hadoop.htrace.zipkin.scribe.port</name>
            <value>9410</value>
    </property>

Answer 1

感谢您试用 HTrace！抱歉，版本问题现在很痛苦。

用cloudera的Hadoop的CDH5.5发行版及以后的版本配置HTrace就容易多了。这里有关于如何做的很好的描述：http://blog.cloudera.com/blog/2015/12/new-in-cloudera-labs-apache-htrace-incubating/ If you want to stick with an Apache release of the source code rather than a vendor release, try Hadoop 3.0.0-alpha1. http://hadoop.apache.org/releases.html

Hadoop 2.6 和 2.7 中发布的 HTrace 库非常旧...我们从未将 HTrace 4.x 反向移植到这些分支。它们是稳定性分支，因此像跟踪这样的新功能超出了范围。那里有一些功能，但不多。我建议使用正在积极开发的较新的 HTrace 4.x 库。 HTrace 4.x 分支也有一个稳定的 API，所以希望在未来将破损降到最低。

Answer 2

确实，在代码中，我看到配置键的前缀是dfs.htrace，而不是hadoop.htrace。在 dfsclient 中，它是 dfs.client.htrace。可以将前缀改为dfs.htrace，然后重启集群即可生效。代码在 class org.apache.hadoop.tracing.SpanReceiverHost 中。希望对您有所帮助！

Hadoop 2.7.3 中的 HTrace

HTrace in Hadoop 2.7.3

java

hadoop

zipkin

htrace