Hadoop TestDFSIO 的测量单位是什么?
What is Hadoop TestDFSIO's unit of measurement?
在查看 HDFS 吞吐量时,TestDFSIO 使用 "mb/sec" 作为测量单位。这是 MegaBytes/s、Megabits/s 还是 MibiBytes/s?我怀疑是 Megabytes/s,但找不到关于此的明确文档。
示例输出:
15/07/06 09:59:33 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
15/07/06 09:59:33 INFO fs.TestDFSIO: Date & time: Mon Jul 06 09:59:33 CEST 2015
15/07/06 09:59:33 INFO fs.TestDFSIO: Number of files: 10
15/07/06 09:59:33 INFO fs.TestDFSIO: Total MBytes processed: 10000.0
15/07/06 09:59:33 INFO fs.TestDFSIO: Throughput mb/sec: 17.08896343474494
15/07/06 09:59:33 INFO fs.TestDFSIO: Average IO rate mb/sec: 18.49329376220703
15/07/06 09:59:33 INFO fs.TestDFSIO: IO rate std deviation: 5.178436159603544
15/07/06 09:59:33 INFO fs.TestDFSIO: Test exec time sec: 93.996
请注意,无法使用总MBytes 和测试执行程序来导出单位。时间,因为吞吐量是使用映射时间总和来衡量的。
我认为是 每秒兆字节。来源:参考"about the math"https://support.pivotal.io/hc/en-us/articles/200864057-Running-DFSIO-mapreduce-benchmark-test
在查看 HDFS 吞吐量时,TestDFSIO 使用 "mb/sec" 作为测量单位。这是 MegaBytes/s、Megabits/s 还是 MibiBytes/s?我怀疑是 Megabytes/s,但找不到关于此的明确文档。
示例输出:
15/07/06 09:59:33 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
15/07/06 09:59:33 INFO fs.TestDFSIO: Date & time: Mon Jul 06 09:59:33 CEST 2015
15/07/06 09:59:33 INFO fs.TestDFSIO: Number of files: 10
15/07/06 09:59:33 INFO fs.TestDFSIO: Total MBytes processed: 10000.0
15/07/06 09:59:33 INFO fs.TestDFSIO: Throughput mb/sec: 17.08896343474494
15/07/06 09:59:33 INFO fs.TestDFSIO: Average IO rate mb/sec: 18.49329376220703
15/07/06 09:59:33 INFO fs.TestDFSIO: IO rate std deviation: 5.178436159603544
15/07/06 09:59:33 INFO fs.TestDFSIO: Test exec time sec: 93.996
请注意,无法使用总MBytes 和测试执行程序来导出单位。时间,因为吞吐量是使用映射时间总和来衡量的。
我认为是 每秒兆字节。来源:参考"about the math"https://support.pivotal.io/hc/en-us/articles/200864057-Running-DFSIO-mapreduce-benchmark-test