ADLS ConcurrentAppend 给出 1 MB 文件的损坏数据

Question

当我使用 Parallel.For 循环将 10 个 1 MB 大小的文件同时附加到 Azure Data Lake Service 时，我只看到我的 Azure Data Lake 文件上最后 2 个文件的内容，尽管我看到了正确的数据正在打印到控制台。

当我使用简单的 for 循环而不是 Parallel.For 时，附加到文件的数据是正确的。

有什么帮助吗？

Parallel.For(0, 10, i =>
{
    path[i] = @"C:\Users\t-chkum\Desktop\InputFilesMB\" + (i + 1) + ".txt";

    FileStream stream = File.OpenRead(path[i]);

    stream.Read(buffer, 0, buffer.Length);
    Console.WriteLine(Encoding.UTF8.GetString(buffer));


    client.ConcurrentAppend(fileName, true, buffer, 0, buffer.Length);

    stream.Close();
});

Answer 1

这实际上是一个临界区问题，可以使用块集合或锁来解决：

BlockingCollection<int> b = new BlockingCollection<int>(1);
Parallel.For(0, 10, i =>
{
    b.Add(i);
    path[i] = @"C:\Users\t-chkum\Desktop\InputFilesMB\" + (i + 1) + ".txt";
    FileStream stream = File.OpenRead(path[i]);

    stream.Read(buffer, 0, buffer.Length);

    client.ConcurrentAppend(fileName, true, buffer, 0, buffer.Length);

    Array.Clear(buffer, 0, buffer.Length);

    stream.Close();
    b.Take();
});

上面的代码解决了我的问题:)

ADLS ConcurrentAppend 给出 1 MB 文件的损坏数据

ADLS ConcurrentAppend giving corrupt data for 1 MB files

c#

concurrency

task-parallel-library

parallel-for

azure-data-lake