使用 运行 yarn jar 命令更改 tmp 目录
Change tmp directory while running yarn jar command
我正在 运行使用 yarn jar 命令进行 MR 作业，它会在 /tmp 文件夹中创建一个临时 jar填满了整个磁盘space。我想将这个 jar 的路径重定向到我有更多磁盘的其他文件夹 space。在这个 link 上，我开始知道我们可以通过为 hadoop 版本 1.x 设置 属性 mapred.local.dir 来更改路径。我正在使用以下命令 运行 jar
yarn jar myjar.jar MyClass myyml.yml arg1 -D mapred.local.dir="/grid/1/uie/facts"
上述参数 mapred.local.dir 不会更改路径，它仍在 tmp 文件夹中创建 jar。
发现无法将 unjar 文件写入 /tmp 文件夹的技巧。显然，这不是可配置的行为，因此我们可以通过调用生成的类路径来避免使用 'hadoop jar' 或 'yarn jar'（RunJar 实用程序）：
java -cp $(hadoop 类路径):my-fat-jar-with-all-dependencies.jar
your.app.mainClass
我正在 运行使用 yarn jar 命令进行 MR 作业，它会在 /tmp 文件夹中创建一个临时 jar填满了整个磁盘space。我想将这个 jar 的路径重定向到我有更多磁盘的其他文件夹 space。在这个 link 上，我开始知道我们可以通过为 hadoop 版本 1.x 设置 属性 mapred.local.dir 来更改路径。我正在使用以下命令 运行 jar
yarn jar myjar.jar MyClass myyml.yml arg1 -D mapred.local.dir="/grid/1/uie/facts"
上述参数 mapred.local.dir 不会更改路径，它仍在 tmp 文件夹中创建 jar。
发现无法将 unjar 文件写入 /tmp 文件夹的技巧。显然，这不是可配置的行为，因此我们可以通过调用生成的类路径来避免使用 'hadoop jar' 或 'yarn jar'（RunJar 实用程序）：
java -cp $(hadoop 类路径):my-fat-jar-with-all-dependencies.jar your.app.mainClass