Hadoop Pig - 如何设置中间结果的目录
Hadoop Pig - how to set the directory for intermediate results
我的 Pig 作业将中间结果存储在我的硬盘上，该硬盘很小。我希望 Pig 将这些中间结果存储在 /data 上。我必须更改哪个设置？
我必须在 pig conf 文件 (/pig.-0.14.0/conf/pig-env.sh) 中添加以下导出：
export PIG_OPTS="$PIG_OPTS -Dhadoop.tmp.dir=$path_to_big_hard_drive -Dpig.temp.dir=$path_to_big_hard_drive"
我的 Pig 作业将中间结果存储在我的硬盘上，该硬盘很小。我希望 Pig 将这些中间结果存储在 /data 上。我必须更改哪个设置？
我必须在 pig conf 文件 (/pig.-0.14.0/conf/pig-env.sh) 中添加以下导出：
export PIG_OPTS="$PIG_OPTS -Dhadoop.tmp.dir=$path_to_big_hard_drive -Dpig.temp.dir=$path_to_big_hard_drive"