限制 hadoop 客户端不创建隐藏的校验和文件

Question

CopyToLocal 命令正在创建一个隐藏的校验和文件。有没有办法避免创建它？

Answer 1

除非您是运行非常旧的版本，否则 Apache Hadoop 仅在您通过传递 -crc 选项选择创建本地校验和文件时创建本地校验和文件，如 Apache Hadoop 文档中所示对于 copyToLocal 命令。

> hdfs dfs -copyToLocal /LICENSE.txt

> ls -lrta
drwxr-xr-x+ 131 naurc001  SWNA\Domain Users   4.3K Jan 27 09:18 ../
-rw-r--r--    1 naurc001  SWNA\Domain Users   140K Jan 27 10:11 LICENSE.txt
drwxr-xr-x    7 naurc001  SWNA\Domain Users   238B Jan 27 10:11 ./

> hdfs dfs -copyToLocal -crc /LICENSE.txt

> ls -lrta
drwxr-xr-x+ 131 naurc001  SWNA\Domain Users   4.3K Jan 27 09:18 ../
-rw-r--r--    1 naurc001  SWNA\Domain Users   140K Jan 27 10:07 LICENSE.txt
-rw-r--r--    1 naurc001  SWNA\Domain Users   1.1K Jan 27 10:07 .LICENSE.txt.crc
drwxr-xr-x    8 naurc001  SWNA\Domain Users   272B Jan 27 10:07 ./

如果您有这个选项，那么我推荐运行当前版本并进行测试以确保 -crc 选项没有被传递到任何地方。

限制 hadoop 客户端不创建隐藏的校验和文件

Restrict hadoop client to not to create hidden checksum files

client

hadoop

hdfs