使用 1 个 MapReduce TaskTracker 在 10 个节点上的 Hadoop CDH5 最大网络性能

Question

我正在尝试使用具有 10 个节点和 1 个 MapReduce TaskTracker 的 CDH5 Cloudera 获得最大网络性能，但似乎无法获得产生我需要的流量的流量。我有40G的网卡，目前最多只有10G，真的很低

当使用 1 个 MapReduce TaskTracker 时，我怎样才能产生更好的性能和网络吞吐量？

运行 -- 10个节点 红帽 6.6 当前网卡驱动 CDH5 内核：3.18.1

我已经停用了 9 个 MapReduce TaskTracker 节点，但仍然没有取得好的结果。

Answer 1

我终于发现你真的不需要数据节点上的任务跟踪器来进行网络 dfsio 测试，所以我停用了所有数据节点 "task trackers" 并将任务跟踪器放在名称节点上，现在我有两个write/tx 和 read/rx 现在的流量，这是我想要的网络吞吐量数据。