在 HDInsight 群集配置上授予 ADLS 访问权限的更快方法?

Faster way to grant access privileges to ADLS on HDInsight cluster provisioning?

我有一个 Azure Data Lake Store (ADLS),其中包含大约 10 万个文件,我需要从 HDInsight 群集访问这些文件以进行分析。当我通过 Azure 门户配置集群时,我将此 ADLS 用于集群的存储,并使用服务主体 + "Data Lake Store Access" 功能为 ADLS 上的所有文件分配 rwx 权限。此功能似乎以每分钟约 2k 的速度一次授予对每个文件的访问权限:仅授予权限就需要一个多小时!

是否有更快的方法来授予新集群对其关联的 ADLS 的 rwx 权限?

是的,有更好的方法来完成所有设置。您需要在 one-time 的基础上,将 Azure Active Directory 组的权限添加到所有文件和文件夹。设置完成后,无论何时创建新的 HDInsight 群集,只需将服务主体设为该组的成员即可。

总结一下:

  1. 创建一个新的 Azure Active Directory 组
  2. 将您的 ADLS 帐户中的权限传播到该组对适当文件和文件夹的权限
  3. 创建 HDInsight 群集。选择合适的服务主体 创建它时。
  4. 将服务主体添加到在中创建的组 步骤 1

希望这对您有所帮助,如果您有任何问题,请告诉我。