使用 IntelliJ IDEA 失败提交 hdinsight Spark 作业

submit hdinsight Spark job using IntelliJ IDEA failure

当我使用 IntelliJ IDEA 社区提交 hdinsight Spark 作业时
错误:

Failed to submit application to spark cluster.
Exception : Forbidden. Attached Azure DataLake Store is not supported in Automated login model.
Please logout first and try Interactive login model

Azure Sign In 对话框中选择 Automated 选项并将 Spark 作业提交到存储为 Azure DataLake Store 的集群时,会显示异常。因此,请为集群使用 Interactive 选项。

自动登录模型仅用于 Azure Blob 存储集群。

您可以尝试以下步骤:

  1. 先退出 Azure Explorer
  2. 使用 Interactive 选项登录
  3. Select 在 Spark 作业提交对话框中使用 Azure DataLake Store 的 Spark 集群并提交作业。

请参阅 https://docs.microsoft.com/en-us/azure/azure-toolkit-for-intellij-sign-in-instructions 了解更多说明。

[更新]

如果您的帐户无权访问该 Azure DataLake Store,将引发相同的异常。

参考https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-security-overview

编译后的Spark Job会上传到ADL文件夹adl://<adls>.azuredatalakestore.net/<cluster attached folder>/SparkSubmission/**。所以用户需要 写权限。您最好让管理员检查您的角色访问权限。