Hadoop Mapreduce 计数器
Hadoop Mapreduce Counters
谁能详细解释一下下面文件系统计数器的含义？
- FILE_BYTES_READ
- FILE_BYTES_WRITTEN
- FILE_READ_OPS
- FILE_LARGE_READ_OPS
- FILE_WRITE_OPS
- HDFS_BYTES_READ
- HDFS_BYTES_WRITTEN
- HDFS_READ_OPS
- HDFS_LARGE_READ_OPS
- HDFS_WRITE_OPS
FILE_BYTES_READ 是本地文件系统读取的字节数。假设所有的map输入数据都来自HDFS，那么在map阶段FILE_BYTES_READ应该是0。另一方面，reducer 的输入文件是从 map 端磁盘获取的 reduce 端本地磁盘上的数据。因此，FILE_BYTES_READ 表示 reducer 读取的总字节数。
FILE_BYTES_WRITTEN由两部分组成。第一部分来自映射器。所有映射器都会将中间输出溢出到磁盘。映射器写入磁盘的所有字节都将包含在 FILE_BYTES_WRITTEN 中。第二部分来自减速器。在 shuffle 阶段，所有的 reducer 将从映射器中获取中间数据并合并并溢出到 reducer 端磁盘。 reducer 写入磁盘的所有字节也将包含在 FILE_BYTES_WRITTEN.
中
HDFS_BYTES_READ表示作业启动时映射器从HDFS读取的字节数。此数据不仅包括源文件的内容，还包括有关拆分的元数据。
HDFS_BYTES_WRITTEN表示写入HDFS的字节数。就是最终输出的字节数。
读取操作 - listStatus、getFileBlockLocations、打开等读取操作的数量
写入操作 - 写入操作的数量，例如创建、附加、setPermission 等
谁能详细解释一下下面文件系统计数器的含义？
- FILE_BYTES_READ
- FILE_BYTES_WRITTEN
- FILE_READ_OPS
- FILE_LARGE_READ_OPS
- FILE_WRITE_OPS
- HDFS_BYTES_READ
- HDFS_BYTES_WRITTEN
- HDFS_READ_OPS
- HDFS_LARGE_READ_OPS
- HDFS_WRITE_OPS
FILE_BYTES_READ 是本地文件系统读取的字节数。假设所有的map输入数据都来自HDFS，那么在map阶段FILE_BYTES_READ应该是0。另一方面，reducer 的输入文件是从 map 端磁盘获取的 reduce 端本地磁盘上的数据。因此，FILE_BYTES_READ 表示 reducer 读取的总字节数。
FILE_BYTES_WRITTEN由两部分组成。第一部分来自映射器。所有映射器都会将中间输出溢出到磁盘。映射器写入磁盘的所有字节都将包含在 FILE_BYTES_WRITTEN 中。第二部分来自减速器。在 shuffle 阶段，所有的 reducer 将从映射器中获取中间数据并合并并溢出到 reducer 端磁盘。 reducer 写入磁盘的所有字节也将包含在 FILE_BYTES_WRITTEN.
中HDFS_BYTES_READ表示作业启动时映射器从HDFS读取的字节数。此数据不仅包括源文件的内容，还包括有关拆分的元数据。
HDFS_BYTES_WRITTEN表示写入HDFS的字节数。就是最终输出的字节数。
读取操作 - listStatus、getFileBlockLocations、打开等读取操作的数量
写入操作 - 写入操作的数量，例如创建、附加、setPermission 等