spark standalone cluster - 创建输出文件时的权限问题
spark standalone cluster - privilege issue in creating output file
我正在使用 spark 独立集群（Linux 平台和 python 应用程序），使用 nfs 在主计算机和工作计算机之间共享文件。我正在尝试使用一台主机和一台工作机器并能够提交应用程序，它在工作机器上运行但无法创建输出文件（使用 spark saveAsTextFile），抛出 mkdir failed 错误。在主计算机和工作计算机中，nfs 目录都具有创建和删除文件的权限，我可以手动创建它，但是当 spark 尝试在该目录中创建文件时，它会创建临时文件夹（_temporary 和 0 文件夹）但无法创建零件文件。
我试过使用 "chmod -R 777"，但仍然失败。有什么办法让它起作用吗！
提前致谢
好像是权限问题。
在 NFS 中创建目录时，您必须使用
提供目录权限
chown username:groupname NFS 目录路径
然后您必须运行使用特权用户或组启动应用程序。
如果您仍然面临这个问题
你可以试试这些
chgrp 组名 NFS 目录路径
然后试试，
chmod 777 NFS 目录路径
这会起作用。
我正在使用 spark 独立集群（Linux 平台和 python 应用程序），使用 nfs 在主计算机和工作计算机之间共享文件。我正在尝试使用一台主机和一台工作机器并能够提交应用程序，它在工作机器上运行但无法创建输出文件（使用 spark saveAsTextFile），抛出 mkdir failed 错误。在主计算机和工作计算机中，nfs 目录都具有创建和删除文件的权限，我可以手动创建它，但是当 spark 尝试在该目录中创建文件时，它会创建临时文件夹（_temporary 和 0 文件夹）但无法创建零件文件。 我试过使用 "chmod -R 777"，但仍然失败。有什么办法让它起作用吗！
提前致谢
好像是权限问题。 在 NFS 中创建目录时，您必须使用
提供目录权限chown username:groupname NFS 目录路径
然后您必须运行使用特权用户或组启动应用程序。
如果您仍然面临这个问题 你可以试试这些
chgrp 组名 NFS 目录路径
然后试试，
chmod 777 NFS 目录路径
这会起作用。