在 spark 中应用 saveAsCSVFile 操作后，在 yarn 中提交作业时没有任何反应
After applying saveAsCSVFile action in spark nothing happens while submitting job in yarn
我正在 yarn 客户端中提交一个 spark 作业（通过 jar）；
./spark-submit --class main.MainClass --master yarn-client --driver-memory 4g --executor-memory 4g --num-executors 4 --executor-cores 2 job.jar <other_args>
现在我的 jar 中有以下代码；
dataset.write().mode("overwrite").csv(/the/file/path/)
我正在获取日志；
17/03/22 02:44:26 INFO scheduler.DAGScheduler: ResultStage 2 (csv at SaveAsCSVFileAction.java:53) finished in 1.948 s
17/03/22 02:44:26 INFO scheduler.DAGScheduler: Job 2 finished: csv at SaveAsCSVFileAction.java:53, took 2.044570 s
但我没有在 /the/file/path/
中得到结果
/the/file/path/是电脑的绝对路径，如/home/somename/Desktop/resultDump
你能告诉我我做错了什么吗？
其实我终于明白本地文件路径不能从纱线集群内部访问。所以更改 hdfs://host:port/path 效果很好。
我正在 yarn 客户端中提交一个 spark 作业（通过 jar）；
./spark-submit --class main.MainClass --master yarn-client --driver-memory 4g --executor-memory 4g --num-executors 4 --executor-cores 2 job.jar <other_args>
现在我的 jar 中有以下代码；
dataset.write().mode("overwrite").csv(/the/file/path/)
我正在获取日志；
17/03/22 02:44:26 INFO scheduler.DAGScheduler: ResultStage 2 (csv at SaveAsCSVFileAction.java:53) finished in 1.948 s
17/03/22 02:44:26 INFO scheduler.DAGScheduler: Job 2 finished: csv at SaveAsCSVFileAction.java:53, took 2.044570 s
但我没有在 /the/file/path/
中得到结果/the/file/path/是电脑的绝对路径，如/home/somename/Desktop/resultDump
你能告诉我我做错了什么吗？
其实我终于明白本地文件路径不能从纱线集群内部访问。所以更改 hdfs://host:port/path 效果很好。