本地缓存 post 地图减少工作 space
local cache post map reduce jobs taking space
我正在使用 Hortonworks 环境进行大数据处理。
我观察到，作为来自 Hive/Oozie/Pig 等的 Map Reduce 作业的一部分，我下面的本地缓存目录正在被填满 up.It 为使用 jar 文件的每个 map reduce 执行创建一个文件夹。
/hadoop/yarn/local/usercache/root/filecache
直接删除这些文件夹可以吗？有没有我可以设置为自动删除它的配置？
这些目录应该每 600000 毫秒（10 分钟）自动清理一次。
或者您可以通过在 yarn-site.xml 中设置此 属性 来缩短此时间段，
yarn.nodemanager.localizer.cache.cleanup.interval-ms.
您还可以更改此缓存目录应占用的最大大小，
yarn.nodemanager.localizer.cache.target-size-mb。默认目标大小为 10240MB。
如果没有作业 运行，手动删除缓存就可以了。删除缓存后重启nodemanager。
我正在使用 Hortonworks 环境进行大数据处理。
我观察到，作为来自 Hive/Oozie/Pig 等的 Map Reduce 作业的一部分，我下面的本地缓存目录正在被填满 up.It 为使用 jar 文件的每个 map reduce 执行创建一个文件夹。
/hadoop/yarn/local/usercache/root/filecache
直接删除这些文件夹可以吗？有没有我可以设置为自动删除它的配置？
这些目录应该每 600000 毫秒（10 分钟）自动清理一次。
或者您可以通过在 yarn-site.xml 中设置此 属性 来缩短此时间段，
yarn.nodemanager.localizer.cache.cleanup.interval-ms.
您还可以更改此缓存目录应占用的最大大小，
yarn.nodemanager.localizer.cache.target-size-mb。默认目标大小为 10240MB。
如果没有作业 运行，手动删除缓存就可以了。删除缓存后重启nodemanager。