2 个存储帐户之间的 Azure CloudBlob StartCopy 方法 - 404 错误
Azure CloudBlob StartCopy method between 2 storage accounts - 404 Error
所以我一直在阅读 https://docs.microsoft.com/en-us/learn/modules/copy-blobs-from-command-line-and-code/7-move-blobs-using-net-storage-client 教程,并尝试将 blob 从一个存储帐户复制到另一个存储帐户(这两个帐户都是 运行 在我的计算机上本地作为本地开发通过 Azurite 的环境模拟器)。尝试使用 C# 了解有关 Azure SDK 的更多信息。
我可以毫无问题地连接到两个帐户,我的程序目前可以 upload/download blob 文件并创建容器。但是,当我在 Visual Studio 中执行我的程序时,它似乎会到达包含 StartCopy(或 StartCopyAsync)的行并抛出 Web 异常:404 Not Found 错误。在异常中,当我展开 RequestInformation 时,ErrorCode 是“ContainerNotFound”,HttpStatusMessage 是“指定的容器不存在”。不确定为什么我会收到这些消息,因为我可以验证容器是否存在,只是为了看看它,我预先用文件和容器预填充了源和目标 azure 存储,只是为了看看发生了什么。不幸的是,同样的错误。然后我尝试将容器和 blob 的 public 访问级别设置为 public。不幸的是,这也是行不通的。应该发生的是,它应该只是将 blob 文件从源复制到目标,然后就结束了。
起初,我想也许我没有配置正确的东西,但事实似乎并非如此,或者至少我是这么认为的?然后我尝试通过 Microsoft 将 1 个本地存储帐户模拟器之间的文件复制到实际的在线 Azure 存储(学生)帐户,但效果不佳。我能够在同一个帐户内的 2 个容器之间进行复制,所以这部分不是问题,但是尝试在 2 个不同的帐户之间进行复制一直让我“撞了好几个小时”。
代码应该与本 post 中第一个 link 中提到的 Microsoft 教程中的代码非常相似。不太清楚为什么我总是收到这个 404 错误。暂时关闭我的防火墙以防造成问题,但这并没有什么不同。我还尝试了其他人的代码(虽然必须稍微修改它才能在我的情况下工作)但我仍然 运行 遇到同样的问题。所以也许,也许我这里的设置有问题?
在我的 Azurite 本地服务器的控制台中,我可以看到服务器 2(复制过程的目标服务器)有:
本地源服务器
127.0.0.1 - - [11/Jan/2021:23:28:39 +0000] "PUT /devstoreaccount1/source/NewBlob HTTP/1.1" 201 -
127.0.0.1 - - [11/Jan/2021:23:28:39 +0000] "HEAD /devstoreaccount1/source/NewBlob HTTP/1.1" 200 0
本地目标服务器
127.0.0.1 - - [11/Jan/2021:23:28:39 +0000] "PUT /devstoreaccount1/destination/NewBlob HTTP/1.1" 404 -
代码:
static async Task Main(string[] args)
{
string storageKey = "AccountName=devstoreaccount1;AccountKey=<MY_ACCOUNT_KEY_GOES_HERE>;DefaultEndpointsProtocol=http;BlobEndpoint=http://127.0.0.1:10000/devstoreaccount1;QueueEndpoint=http://127.0.0.1:10001/devstoreaccount1;";
string storageKey2 = "AccountName=devstoreaccount1;AccountKey=<MY_ACCOUNT_KEY_GOES_HERE>;DefaultEndpointsProtocol=http;BlobEndpoint=http://127.0.0.1:10100/devstoreaccount1;QueueEndpoint=http://127.0.0.1:10101/devstoreaccount1;";
// Retrieve storage account from connection string.
CloudStorageAccount storageAccount = CloudStorageAccount.Parse(storageKey);
CloudStorageAccount storageAccount2 = CloudStorageAccount.Parse(storageKey2);
//create client from storage account
CloudBlobClient sourceClient = storageAccount.CreateCloudBlobClient();
CloudBlobClient sourceClient2 = storageAccount2.CreateCloudBlobClient();
//declare source container and create if doesn't exist
CloudBlobContainer sourceContainer = sourceClient.GetContainerReference("source");
await sourceContainer.CreateIfNotExistsAsync();
//upload local file to azurite 1
CloudBlockBlob uploadBlob = sourceContainer.GetBlockBlobReference("NewBlob");
await uploadBlob.UploadFromFileAsync("NewBlob");
// designate source blob as the new uploaded file
ICloudBlob sourceBlob = await sourceContainer.GetBlobReferenceFromServerAsync("NewBlob");
//declare destination container and create it if it doesn't exist
CloudBlobContainer destBlobContainer = sourceClient2.GetContainerReference("destination");
await destBlobContainer.CreateIfNotExistsAsync();
//start copy process of blob between 2 servers
CloudBlockBlob destBlob = destBlobContainer.GetBlockBlobReference(sourceBlob.Name);
await destBlob.StartCopyAsync(new Uri(GetSharedAccessUri(sourceBlob.Name, sourceContainer)));
// Display the status of the blob as it is copied
ICloudBlob destBlobRef = await destBlobContainer.GetBlobReferenceFromServerAsync(destBlob.Name);
while (destBlobRef.CopyState.Status == CopyStatus.Pending)
{
Console.WriteLine($"Blob: {destBlobRef.Name}, Copied: {destBlobRef.CopyState.BytesCopied ?? 0} of {destBlobRef.CopyState.TotalBytes ?? 0}");
await Task.Delay(500);
destBlobRef = await destBlobContainer.GetBlobReferenceFromServerAsync(destBlobRef.Name);
}
Console.WriteLine($"Blob: {destBlob.Name} Complete");
}
// Create a SAS token for the source blob, to enable it to be read by the StartCopyAsync method
private static string GetSharedAccessUri(string blobName, CloudBlobContainer container)
{
DateTime toDateTime = DateTime.Now.AddMinutes(60);
SharedAccessBlobPolicy policy = new SharedAccessBlobPolicy
{
Permissions = SharedAccessBlobPermissions.Read,
SharedAccessStartTime = null,
SharedAccessExpiryTime = new DateTimeOffset(toDateTime)
};
CloudBlockBlob blob = container.GetBlockBlobReference(blobName);
string sas = blob.GetSharedAccessSignature(policy);
return blob.Uri.AbsoluteUri + sas;
}
Thanks in advance!
你上面的代码在 Azure Cloud 上运行完美,我也在我的本地基于存储模拟器测试了你的代码。根据你的代码逻辑我查不出根本原因,没关系。
无论如何,看来你的问题已经在 Azure Cloud 上解决了,我认为这是由于本地存储模拟器的一些错误。
所以我一直在阅读 https://docs.microsoft.com/en-us/learn/modules/copy-blobs-from-command-line-and-code/7-move-blobs-using-net-storage-client 教程,并尝试将 blob 从一个存储帐户复制到另一个存储帐户(这两个帐户都是 运行 在我的计算机上本地作为本地开发通过 Azurite 的环境模拟器)。尝试使用 C# 了解有关 Azure SDK 的更多信息。
我可以毫无问题地连接到两个帐户,我的程序目前可以 upload/download blob 文件并创建容器。但是,当我在 Visual Studio 中执行我的程序时,它似乎会到达包含 StartCopy(或 StartCopyAsync)的行并抛出 Web 异常:404 Not Found 错误。在异常中,当我展开 RequestInformation 时,ErrorCode 是“ContainerNotFound”,HttpStatusMessage 是“指定的容器不存在”。不确定为什么我会收到这些消息,因为我可以验证容器是否存在,只是为了看看它,我预先用文件和容器预填充了源和目标 azure 存储,只是为了看看发生了什么。不幸的是,同样的错误。然后我尝试将容器和 blob 的 public 访问级别设置为 public。不幸的是,这也是行不通的。应该发生的是,它应该只是将 blob 文件从源复制到目标,然后就结束了。
起初,我想也许我没有配置正确的东西,但事实似乎并非如此,或者至少我是这么认为的?然后我尝试通过 Microsoft 将 1 个本地存储帐户模拟器之间的文件复制到实际的在线 Azure 存储(学生)帐户,但效果不佳。我能够在同一个帐户内的 2 个容器之间进行复制,所以这部分不是问题,但是尝试在 2 个不同的帐户之间进行复制一直让我“撞了好几个小时”。
代码应该与本 post 中第一个 link 中提到的 Microsoft 教程中的代码非常相似。不太清楚为什么我总是收到这个 404 错误。暂时关闭我的防火墙以防造成问题,但这并没有什么不同。我还尝试了其他人的代码(虽然必须稍微修改它才能在我的情况下工作)但我仍然 运行 遇到同样的问题。所以也许,也许我这里的设置有问题?
在我的 Azurite 本地服务器的控制台中,我可以看到服务器 2(复制过程的目标服务器)有:
本地源服务器
127.0.0.1 - - [11/Jan/2021:23:28:39 +0000] "PUT /devstoreaccount1/source/NewBlob HTTP/1.1" 201 -
127.0.0.1 - - [11/Jan/2021:23:28:39 +0000] "HEAD /devstoreaccount1/source/NewBlob HTTP/1.1" 200 0
本地目标服务器
127.0.0.1 - - [11/Jan/2021:23:28:39 +0000] "PUT /devstoreaccount1/destination/NewBlob HTTP/1.1" 404 -
代码:
static async Task Main(string[] args)
{
string storageKey = "AccountName=devstoreaccount1;AccountKey=<MY_ACCOUNT_KEY_GOES_HERE>;DefaultEndpointsProtocol=http;BlobEndpoint=http://127.0.0.1:10000/devstoreaccount1;QueueEndpoint=http://127.0.0.1:10001/devstoreaccount1;";
string storageKey2 = "AccountName=devstoreaccount1;AccountKey=<MY_ACCOUNT_KEY_GOES_HERE>;DefaultEndpointsProtocol=http;BlobEndpoint=http://127.0.0.1:10100/devstoreaccount1;QueueEndpoint=http://127.0.0.1:10101/devstoreaccount1;";
// Retrieve storage account from connection string.
CloudStorageAccount storageAccount = CloudStorageAccount.Parse(storageKey);
CloudStorageAccount storageAccount2 = CloudStorageAccount.Parse(storageKey2);
//create client from storage account
CloudBlobClient sourceClient = storageAccount.CreateCloudBlobClient();
CloudBlobClient sourceClient2 = storageAccount2.CreateCloudBlobClient();
//declare source container and create if doesn't exist
CloudBlobContainer sourceContainer = sourceClient.GetContainerReference("source");
await sourceContainer.CreateIfNotExistsAsync();
//upload local file to azurite 1
CloudBlockBlob uploadBlob = sourceContainer.GetBlockBlobReference("NewBlob");
await uploadBlob.UploadFromFileAsync("NewBlob");
// designate source blob as the new uploaded file
ICloudBlob sourceBlob = await sourceContainer.GetBlobReferenceFromServerAsync("NewBlob");
//declare destination container and create it if it doesn't exist
CloudBlobContainer destBlobContainer = sourceClient2.GetContainerReference("destination");
await destBlobContainer.CreateIfNotExistsAsync();
//start copy process of blob between 2 servers
CloudBlockBlob destBlob = destBlobContainer.GetBlockBlobReference(sourceBlob.Name);
await destBlob.StartCopyAsync(new Uri(GetSharedAccessUri(sourceBlob.Name, sourceContainer)));
// Display the status of the blob as it is copied
ICloudBlob destBlobRef = await destBlobContainer.GetBlobReferenceFromServerAsync(destBlob.Name);
while (destBlobRef.CopyState.Status == CopyStatus.Pending)
{
Console.WriteLine($"Blob: {destBlobRef.Name}, Copied: {destBlobRef.CopyState.BytesCopied ?? 0} of {destBlobRef.CopyState.TotalBytes ?? 0}");
await Task.Delay(500);
destBlobRef = await destBlobContainer.GetBlobReferenceFromServerAsync(destBlobRef.Name);
}
Console.WriteLine($"Blob: {destBlob.Name} Complete");
}
// Create a SAS token for the source blob, to enable it to be read by the StartCopyAsync method
private static string GetSharedAccessUri(string blobName, CloudBlobContainer container)
{
DateTime toDateTime = DateTime.Now.AddMinutes(60);
SharedAccessBlobPolicy policy = new SharedAccessBlobPolicy
{
Permissions = SharedAccessBlobPermissions.Read,
SharedAccessStartTime = null,
SharedAccessExpiryTime = new DateTimeOffset(toDateTime)
};
CloudBlockBlob blob = container.GetBlockBlobReference(blobName);
string sas = blob.GetSharedAccessSignature(policy);
return blob.Uri.AbsoluteUri + sas;
}
Thanks in advance!
你上面的代码在 Azure Cloud 上运行完美,我也在我的本地基于存储模拟器测试了你的代码。根据你的代码逻辑我查不出根本原因,没关系。
无论如何,看来你的问题已经在 Azure Cloud 上解决了,我认为这是由于本地存储模拟器的一些错误。