如何避免循环多线程任务中 JSON 序列化期间的集合修改？

Question

我在使用 Newtonsoft.Json.

序列化到 JSON 文件时遇到问题

在一个循环中，我在各个线程中执行任务：

List<Task> jockeysTasks = new List<Task>();

            for (int i = 1; i < 1100; i++)
            {
                int j = i;
                Task task = Task.Run(async () =>
                {
                    LoadedJockey jockey = new LoadedJockey();
                    jockey = await Task.Run(() => _scrapServices.ScrapSingleJockeyPL(j));

                    if (jockey.Name != null)
                    {
                        _allJockeys.Add(jockey);
                    }

                    UpdateStatusBar = j * 100 / 1100;

                    if (j % 100 == 0)
                    {
                        await Task.Run(() => _dataServices.SaveAllJockeys(_allJockeys)); //saves everything to JSON file
                    }
                });

                jockeysTasks.Add(task);
            }

            await Task.WhenAll(jockeysTasks);

和if (j % 100 == 0)，正在尝试将集合_allJockeys保存到文件中（我会做一些计数器以使其更可靠，但这不是重点）：

public void SaveAllJockeys(List<LoadedJockey> allJockeys)
        {
            if (allJockeys.Count != 0)
            {
                if (File.Exists(_jockeysFileName)) File.Delete(_jockeysFileName);

                try
                {
                    using (StreamWriter file = File.CreateText(_jockeysFileName))
                    {
                        JsonSerializer serializer = new JsonSerializer();
                        serializer.Serialize(file, allJockeys);
                    }
                }
                catch (Exception e)
                {
                    dialog.ShowDialog("Could not save the results, " + e.ToString(), "Error");
                }
            }
        }

在那段时间里，据我所知，另一个任务正在向集合中添加新的集合项目，它向我抛出异常：

Collection was modified; enumeration operation may not execute.

正如我在 THE ARTICLE 中阅读的那样，您可以更改迭代类型以避免异常。据我所知，我无法修改方式，Newtonsoft.Json pack 是如何做到的。

提前感谢您提供如何避免异常并保存集合而不发生意外更改的任何提示。

Answer 1

您可能应该继承 List 并使用 ReaderWriterLock (https://docs.microsoft.com/en-us/dotnet/api/system.threading.readerwriterlock?view=netframework-4.8)

即（未测试伪 C#）

public class MyJockeys: List<LoadedJockey>
{

    System.Threading.ReaderWriterLock _rw_lock = new System.Threading.ReaderWriterLock();

    public new Add(LoadedJockey j)
    {
       try
       {
           _rw_lock.AcquireWriterLock(5000); // or whatever you deem an acceptable timeout
          base.Add(j);
       }
       finally
       {
           _rw_lock.ReleaseWriterLock();
       }
    }

    public ToJSON()
    {
       try
       {
           _rw_lock.AcquireReaderLock(5000); // or whatever you deem an acceptable timeout
          string s = "";  // Serialize here using Newtonsoft
          return s;
       }
       finally
       {
           _rw_lock.ReleaseReaderLock();
       }
    }
    // And override Remove and anything else you need
}

明白了吗？

希望对您有所帮助。

此致，

亚当。

Answer 2

我绑定了在集合上使用 ToList()，什么创建了列表的副本，具有积极的效果。

如何避免循环多线程任务中 JSON 序列化期间的集合修改？

How to avoid collection modification during JSON serialization in looped multithreaded task?

c#

task

jsonserializer

json.net