使用 yield 延迟 Azure blob 存储调用 - c#

Question

我目前有一种方法可以从 Azure 中提取 blob 文件名列表。方法如下：

internal async Task<IEnumerable<BlobItem>> GetFiles(CloudBlobContainer container, string directoryName, bool recursive)
{
    var results = new List<BlobItem>();
    BlobContinuationToken continuationToken = null;

    do
    {
        var response = await container.GetDirectoryReference(directoryName).ListBlobsSegmentedAsync(false, BlobListingDetails.None, 100, continuationToken, null, null);

        continuationToken = response.ContinuationToken;
        foreach (var item in response.Results)
        {
            if (item.GetType() != typeof(CloudBlobDirectory))
                results.Add(new BlobItem(item));
            else if (recursive)
                results.AddRange(await GetFiles(container, ((CloudBlobDirectory)item).Prefix, recursive));
        }
    }
    while (continuationToken != null);

    return results;
}

我不喜欢我上面的代码的地方是，我运行遍历所有文件并添加到结果中，直到取消标记为空。所以基本上，去得到所有，然后停下来 return.

我不认为这效率过高 - 我在想我可能会产生结果所以它只会在我准备好时获得下一个 "batch" 结果（来自调用代码）。

我不太熟悉使用 yield 并且已经想到了这个，但我认为它可能不会推迟对 ListBlobSegment 的调用。这是我的代码：

internal IEnumerable<BlobItem> GetFiles(CloudBlobContainer container, string directoryName, bool recursive)
{
    var results = new List<BlobItem>();
    BlobContinuationToken continuationToken = null;

    do
    {
        var response = container.GetDirectoryReference(directoryName).ListBlobsSegmentedAsync(false, BlobListingDetails.None, 100, continuationToken, null, null).GetAwaiter().GetResult();

        continuationToken = response.ContinuationToken;
        foreach (var item in response.Results)
        {


            if (item.GetType() != typeof(CloudBlobDirectory))
                yield return new BlobItem(item);
            else if (recursive)
            {
                var internalResponse =  GetFiles(container, ((CloudBlobDirectory)item).Prefix, recursive));
                foreach (var intItem in internalResponse)
                {
                    yield return intItem;
                }
            }
        }
    }
    while (continuationToken != null);
}

如果我以正确的方式使用 yield 语句，有人可以告诉我吗？如前所述，以前从未在愤怒中使用过它，并且想把它做对:-)我的目标是希望推迟服务调用并使代码更有效地进行调用。

提前感谢您的指点！

注意：使用这些 API 进行 blob 存储

using Microsoft.WindowsAzure.Storage;
using Microsoft.WindowsAzure.Storage.Blob;

Answer 1

编辑 2018-11-15 从 C#8 开始，您将能够使用 IAsyncEnumerable:

async IAsyncEnumerable<int> GetBigResultsAsync()
{
    await foreach (var result in GetResultsAsync())
    {
        if (result > 20) yield return result; 
    }
}

IAsyncEnumerable<string> GetAsyncAnswers()
{
    return AsyncEnum.Enumerate<string>(async consumer =>
    {
        foreach (var question in GetQuestions())
        {
            string theAnswer = await answeringService.GetAnswer(question);
            await consumer.YieldAsync(theAnswer);
        }
    });
}

https://blogs.msdn.microsoft.com/dotnet/2018/11/12/building-c-8-0/

https://archive.codeplex.com/?p=asyncenum

原答案

在这种情况下，您需要使用 IObservable<BlobItem> 而不是 IEnumerable<BlobItem>。至少在内部，取决于您实际调用 GetFiles.

的方式

这个问题有一些很好的解释，您应该研究一下：

How to yield return item when doing Task.WhenAny

或 corresponding blog post 已接受的答案。

旁注：您可能希望为 ListBlobsSegmentedAsync 使用参数 useFlatBlobListing=true 而不是手动执行递归代码。

一些描述这看起来如何的快速代码（未经测试或任何东西）

public IEnumerable<BlobItem> GetFilesAsEnumerable(CloudBlobContainer container, string directoryName, bool recursive)
{
    return GetFiles(container, directoryName, recursive).ToEnumerable();
}

public IObservable<BlobItem> GetFiles(CloudBlobContainer container, string directoryName, bool recursive)
{
    return Observable.Create<BlobItem>(async obs =>
        {
            BlobContinuationToken continuationToken = null;

            do
            {
                var response = await container.GetDirectoryReference(directoryName).ListBlobsSegmentedAsync(/*useFlatBlobListing*/ recursive, BlobListingDetails.None, 100, continuationToken, null, null);

                continuationToken = response.ContinuationToken;
                foreach (var item in response.Results)
                {
                    // Only required if recursive == false
                    if (item.GetType() != typeof(CloudBlobDirectory))
                        obs.OnNext(new BlobItem(item));
                }
            }
            while (continuationToken != null);
        });
}

使用 yield 延迟 Azure blob 存储调用 - c#

Use the yield to defer Azure blob storage call - c#

c#

ienumerable

yield

azure

azure-blob-storage