无法使用腻子找到目录火花
Can't find directory spark using putty
我正在尝试 运行 使用 putty 在 hdfs 上生成一个 spark 代码。
spark-submit WorstMoviesSpark.py
但是当我输入上面的代码时，它返回了一个错误：
python: can't open file '/home/maria_dev/WorstMoviesSpark.py': [Errno 2] No such file or directory
*编辑：我只是在犯傻。我在本地而不是 hdp 上加载了我的代码。不过有用的答案
您没有通过 Spark 执行代码文件所需的权限。
运行 下面的命令
hdfs dfs -chmod 777 WorstMoviesSpark.py 然后在你的 spark-submit 命令中提到 master as yarn when 运行ning 代码如下
spark-submit --master yarn --deploy-mode client /hdfs/path/to/WorstMoviesSpark.py
我正在尝试 运行 使用 putty 在 hdfs 上生成一个 spark 代码。
spark-submit WorstMoviesSpark.py
但是当我输入上面的代码时，它返回了一个错误：
python: can't open file '/home/maria_dev/WorstMoviesSpark.py': [Errno 2] No such file or directory
*编辑：我只是在犯傻。我在本地而不是 hdp 上加载了我的代码。不过有用的答案
您没有通过 Spark 执行代码文件所需的权限。
运行 下面的命令
hdfs dfs -chmod 777 WorstMoviesSpark.py 然后在你的 spark-submit 命令中提到 master as yarn when 运行ning 代码如下
spark-submit --master yarn --deploy-mode client /hdfs/path/to/WorstMoviesSpark.py