Azure 数据湖文件中的逻辑视图

Logical views in Azure Data lake file

我需要对 Azure Data lake Gen 1 文件中的 PII 和非 PII 数据进行分类。由于我不想在数据湖中复制物理文件创建，我们能否在数据湖中创建逻辑视图，最好与物化视图进行比较。

首选技术 - Azure Synapse 分析/Databricks/带有 spark 进程的 VM，...

还有易于与 RBAC 的 Active Directory 集成的技术。

让我知道可能性。

您今天可以使用 Azure Synapse SQL on-demand 实现这一目标。方法如下：

  1. 创建数据库
  2. 创建数据库范围的凭据
  3. 使用该凭据创建外部数据源
  4. 在文件上创建两个视图

以下是一些可以帮助您完成这些步骤的文档： https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/create-use-external-tables https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/create-use-views

完成后，您应该创建登录名并在数据库内部创建与这些登录名相关联的用户。该文档可以提供帮助：https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/access-control#database-level-permission

现在您应该授予适当的权限，根据您的描述我认为您需要这些权限：

  1. 在 VIEW 上授予 SELECT – 文档：https://docs.microsoft.com/en-us/sql/t-sql/statements/grant-object-permissions-transact-sql?view=sql-server-ver15
  2. 在证书上授予引用 - 文档：https://docs.microsoft.com/en-us/sql/t-sql/statements/grant-database-scoped-credential-transact-sql?view=sql-server-ver15
  3. 拒绝管理数据库批量操作 – 文档：https://docs.microsoft.com/en-us/sql/t-sql/statements/deny-database-permissions-transact-sql?view=sql-server-ver15

这将为您提供一个包含视图和用户的数据库，这些用户可以访问他们被允许访问的 VIEW，他们将无法在数据库中创建新对象，也无法使用凭据在湖上进行随机查询。