使用 IntelliJ IDEA 失败提交 hdinsight Spark 作业
submit hdinsight Spark job using IntelliJ IDEA failure
当我使用 IntelliJ IDEA 社区提交 hdinsight Spark 作业时
错误:
Failed to submit application to spark cluster.
Exception : Forbidden. Attached Azure DataLake Store is not supported in Automated login model.
Please logout first and try Interactive login model
在 Azure Sign In
对话框中选择 Automated
选项并将 Spark 作业提交到存储为 Azure DataLake Store 的集群时,会显示异常。因此,请为集群使用 Interactive
选项。
自动登录模型仅用于 Azure Blob 存储集群。
您可以尝试以下步骤:
- 先退出 Azure Explorer
- 使用
Interactive
选项登录
- Select 在 Spark 作业提交对话框中使用 Azure DataLake Store 的 Spark 集群并提交作业。
请参阅 https://docs.microsoft.com/en-us/azure/azure-toolkit-for-intellij-sign-in-instructions 了解更多说明。
[更新]
如果您的帐户无权访问该 Azure DataLake Store,将引发相同的异常。
参考https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-security-overview
编译后的Spark Job会上传到ADL文件夹adl://<adls>.azuredatalakestore.net/<cluster attached folder>/SparkSubmission/**
。所以用户需要
写权限。您最好让管理员检查您的角色访问权限。
当我使用 IntelliJ IDEA 社区提交 hdinsight Spark 作业时
错误:
Failed to submit application to spark cluster.
Exception : Forbidden. Attached Azure DataLake Store is not supported in Automated login model.
Please logout first and try Interactive login model
在 Azure Sign In
对话框中选择 Automated
选项并将 Spark 作业提交到存储为 Azure DataLake Store 的集群时,会显示异常。因此,请为集群使用 Interactive
选项。
自动登录模型仅用于 Azure Blob 存储集群。
您可以尝试以下步骤:
- 先退出 Azure Explorer
- 使用
Interactive
选项登录 - Select 在 Spark 作业提交对话框中使用 Azure DataLake Store 的 Spark 集群并提交作业。
请参阅 https://docs.microsoft.com/en-us/azure/azure-toolkit-for-intellij-sign-in-instructions 了解更多说明。
[更新]
如果您的帐户无权访问该 Azure DataLake Store,将引发相同的异常。
参考https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-security-overview
编译后的Spark Job会上传到ADL文件夹adl://<adls>.azuredatalakestore.net/<cluster attached folder>/SparkSubmission/**
。所以用户需要
写权限。您最好让管理员检查您的角色访问权限。