Azure Datalake 操作返回无效状态代码禁止
Azure Datalake operation returned an invalid status code forbidden
我正在向 Azure Datalake 写入一个简单的文件以了解如何将其用于其他方式,但我遇到了问题,当我尝试写入时收到以下错误消息
21/5/2018 9:03:27 AM] Executed 'NWPimFeederFromAws' (Failed, Id=39adba4b-9c27-4078-b560-c25532e8432e)
[21/5/2018 9:03:27 AM] System.Private.CoreLib: Exception while executing function: NWPimFeederFromAws. Microsoft.Azure.Management.DataLake.Store: One or more errors occurred. (Operation returned an invalid status code 'Forbidden'). Microsoft.Azure.Management.DataLake.Store: Operation returned an invalid status code 'Forbidden'.
问题代码如下
static void WriteToAzureDataLake() {
// 1. Set Synchronization Context
SynchronizationContext.SetSynchronizationContext(new SynchronizationContext());
// 2. Create credentials to authenticate requests as an Active Directory application
var clientCredential = new ClientCredential(clientId, clientSecret);
//var creds = ApplicationTokenProvider.LoginSilentAsync(tenantId, clientCredential).Result;
var creds = ApplicationTokenProvider.LoginSilentAsync(tenantId, clientCredential).Result;
// 2. Initialise Data Lake Store File System Client
adlsFileSystemClient = new DataLakeStoreFileSystemManagementClient(creds);
// 3. Upload a file to the Data Lake Store
var source = "c:\nwsys\source.txt";
var destination = "/PIMRAW/destination.txt";
adlsFileSystemClient.FileSystem.UploadFile(adlsAccountName, source, destination, 1, false, true);
// FINISHED
Console.WriteLine("6. Finished!");
}
我已将我的 Azure AD 中的应用程序添加到我尝试写入的特定文件夹的访问列表中,如下所示
我代码中的 clientID 和 clientSecret 来自这个应用程序,所以我有点不知道为什么我被禁止了。
我还忘了什么吗?
会不会是在我尝试创建客户端之前 loginAsync 尚未完成?
Could it be that the loginAsync has not yet finished before I try and create the client?
与loginAsync无关。
根据我的测试,如果我将权限分配给该文件夹,它在我这边可以正常工作。
测试结果:
如果可以的话,您可以创建一个新的Datalake帐户或新文件夹,然后再试一次。我建议你可以使用 fiddler 来捕获有关异常的详细信息。
您是否授予您的 application/service 委托人对您的应用正在写入的特定文件夹路径中的父文件夹的执行权限?这是遍历文件夹路径所必需的,请参阅此处的一些示例:https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-access-control#common-scenarios-related-to-permissions。
不是答案,只是记录我在遇到类似错误时发现的内容。
我将我的 Azure 数据工厂托管身份 添加到帐户级别(以及文件系统)级别的 贡献者 角色。
尝试从 ADF 创建 blob 时遇到禁止错误
所以我将其添加到 Storage Blob Data Contributor。它没有立即工作,但需要大约 10 分钟才能被识别。然后一切正常。
我正在向 Azure Datalake 写入一个简单的文件以了解如何将其用于其他方式,但我遇到了问题,当我尝试写入时收到以下错误消息
21/5/2018 9:03:27 AM] Executed 'NWPimFeederFromAws' (Failed, Id=39adba4b-9c27-4078-b560-c25532e8432e)
[21/5/2018 9:03:27 AM] System.Private.CoreLib: Exception while executing function: NWPimFeederFromAws. Microsoft.Azure.Management.DataLake.Store: One or more errors occurred. (Operation returned an invalid status code 'Forbidden'). Microsoft.Azure.Management.DataLake.Store: Operation returned an invalid status code 'Forbidden'.
问题代码如下
static void WriteToAzureDataLake() {
// 1. Set Synchronization Context
SynchronizationContext.SetSynchronizationContext(new SynchronizationContext());
// 2. Create credentials to authenticate requests as an Active Directory application
var clientCredential = new ClientCredential(clientId, clientSecret);
//var creds = ApplicationTokenProvider.LoginSilentAsync(tenantId, clientCredential).Result;
var creds = ApplicationTokenProvider.LoginSilentAsync(tenantId, clientCredential).Result;
// 2. Initialise Data Lake Store File System Client
adlsFileSystemClient = new DataLakeStoreFileSystemManagementClient(creds);
// 3. Upload a file to the Data Lake Store
var source = "c:\nwsys\source.txt";
var destination = "/PIMRAW/destination.txt";
adlsFileSystemClient.FileSystem.UploadFile(adlsAccountName, source, destination, 1, false, true);
// FINISHED
Console.WriteLine("6. Finished!");
}
我已将我的 Azure AD 中的应用程序添加到我尝试写入的特定文件夹的访问列表中,如下所示
我代码中的 clientID 和 clientSecret 来自这个应用程序,所以我有点不知道为什么我被禁止了。
我还忘了什么吗?
会不会是在我尝试创建客户端之前 loginAsync 尚未完成?
Could it be that the loginAsync has not yet finished before I try and create the client?
与loginAsync无关。 根据我的测试,如果我将权限分配给该文件夹,它在我这边可以正常工作。
测试结果:
如果可以的话,您可以创建一个新的Datalake帐户或新文件夹,然后再试一次。我建议你可以使用 fiddler 来捕获有关异常的详细信息。
您是否授予您的 application/service 委托人对您的应用正在写入的特定文件夹路径中的父文件夹的执行权限?这是遍历文件夹路径所必需的,请参阅此处的一些示例:https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-access-control#common-scenarios-related-to-permissions。
不是答案,只是记录我在遇到类似错误时发现的内容。
我将我的 Azure 数据工厂托管身份 添加到帐户级别(以及文件系统)级别的 贡献者 角色。
尝试从 ADF 创建 blob 时遇到禁止错误
所以我将其添加到 Storage Blob Data Contributor。它没有立即工作,但需要大约 10 分钟才能被识别。然后一切正常。