FileSystemWatcher 丢失文件

Question

我是 c# 的新手，正在编写一个程序，该程序将使用从名为 folderWatch 的方法调用的 fileSystemWatcher 监视文件夹中的 .xml 文件。 .xml 文件包含一个电子邮件地址和一个图像路径，一旦阅读就会通过电子邮件发送。如果我一次只添加几个 xml，我的代码可以正常工作，但是当我尝试将大量代码转储到文件夹中时，fileSystemWatcher 并未处理所有代码。请帮我指明正确的方向。

private System.IO.FileSystemWatcher m_Watcher;
public string folderMonitorPath = Properties.Settings.Default.monitorFolder;

    public void folderWatch()
    {
        if(folderMonitorPath != "")
        {
            m_Watcher = new System.IO.FileSystemWatcher();
            m_Watcher.Filter = "*.xml*";
            m_Watcher.Path = folderMonitorPath;
            m_Watcher.NotifyFilter = NotifyFilters.LastAccess | NotifyFilters.LastWrite
                                     | NotifyFilters.FileName | NotifyFilters.DirectoryName;
            m_Watcher.Created += new FileSystemEventHandler(OnChanged);
            m_Watcher.EnableRaisingEvents = true;
        }
    }

    public void OnChanged(object sender, FileSystemEventArgs e)
    {
        displayText("File Added " + e.FullPath);
        xmlRead(e.FullPath);
    }

阅读xml

    public void xmlRead(string path)
    {

        XDocument document = XDocument.Load(path);
        var photo_information = from r in document.Descendants("photo_information")
                                select new
                                {
                                    user_data = r.Element("user_data").Value,
                                    photos = r.Element("photos").Element("photo").Value,
                                };
        foreach (var r in photo_information)
        {
            if (r.user_data != "")
            {
                var attachmentFilename = folderMonitorPath + @"\" + r.photos;
                displayText("new user data " + r.user_data);
                displayText("attemting to send mail");
                sendemail(r.user_data, attachmentFilename);
            }
            else
            {
                displayText("no user data moving to next file");
            }
        }

发送邮件

public void sendemail(string email, string attachmentFilename)
    {
        //myTimer.Stop();

            MailMessage mail = new MailMessage();
            SmtpClient SmtpServer = new SmtpClient(smtpClient);

            mail.From = new MailAddress(mailFrom);
            mail.To.Add(email);
            mail.Subject = "test";
            mail.Body = "text";

            SmtpServer.Port = smtpPort;
        SmtpServer.Credentials = new System.Net.NetworkCredential("username", "password");
        SmtpServer.EnableSsl = true;
        // SmtpServer.UseDefaultCredentials = true;

        if (attachmentFilename != null)
            {
                Attachment attachment = new Attachment(attachmentFilename, MediaTypeNames.Application.Octet);
                ContentDisposition disposition = attachment.ContentDisposition;
                disposition.CreationDate = File.GetCreationTime(attachmentFilename);
                disposition.ModificationDate = File.GetLastWriteTime(attachmentFilename);
                disposition.ReadDate = File.GetLastAccessTime(attachmentFilename);
                disposition.FileName = Path.GetFileName(attachmentFilename);
                disposition.Size = new FileInfo(attachmentFilename).Length;
                disposition.DispositionType = DispositionTypeNames.Attachment;
                mail.Attachments.Add(attachment);
            }
        try
        {
            SmtpServer.Send(mail);
            displayText("mail sent");
        }
        catch (Exception ex)
        {
           displayText(ex.Message);

        }

    }

Answer 1

首先，FileSystemWatcher 有内部限制 buffer 来存储未决通知。根据文档：

The system notifies the component of file changes, and it stores those changes in a buffer the component creates and passes to the APIs. Each event can use up to 16 bytes of memory, not including the file name. If there are many changes in a short time, the buffer can overflow. This causes the component to lose track of changes in the directory

您可以通过将 InternalBufferSize 设置为 64 * 1024（64KB，最大允许值）来增加缓冲区。

接下来（也许更重要）是如何清除此缓冲区。您的 OnChanged 处理程序被调用，并且仅当它完成时 - 通知已从该缓冲区中删除。这意味着如果您在处理程序中做了很多工作 - 缓冲区溢出的可能性要高得多。为避免这种情况 - 在 OnChanged 处理程序中尽可能少地工作，并在单独的线程中完成所有繁重的工作，例如（不是生产就绪代码，仅用于说明目的）：

var queue = new BlockingCollection<string>(new ConcurrentQueue<string>());
new Thread(() => {
    foreach (var item in queue.GetConsumingEnumerable()) {
        // do heavy stuff with item
    }
}) {
    IsBackground = true
}.Start();
var w = new FileSystemWatcher();
// other stuff
w.Changed += (sender, args) =>
{
    // takes no time, so overflow chance is drastically reduced
    queue.Add(args.FullPath);
};

您也没有订阅 FileSystemWatcher 的 Error 事件，所以您不知道什么时候（以及是否）出了问题。

Answer 2

我通过惨痛的教训了解到，如果您必须使用可靠的文件监视器，请使用 USN Journals。

https://msdn.microsoft.com/en-us/library/windows/desktop/aa363798(v=vs.85).aspx

如果您有足够的权限，可以通过以下方式访问 .NET：

您也可以使用 flie Length + LastModifiedDate 的计时器轮询自己手动实现它。

Answer 3

FSW 的文档警告说，如果事件处理时间过长，一些事件可能会丢失。这就是为什么它总是与队列一起使用 and/or 后台处理。

一种选择是使用Task.Run在后台执行处理：

public void OnChanged(object sender, FileSystemEventArgs e)
{
    _logger.Info("File Added " + e.FullPath);
    Task.Run(()=>xmlRead(e.FullPath));
}

请注意，我使用日志记录而不是 displayText 所做的任何事情。您无法从另一个线程访问 UI 线程。如果要记录进度，请使用日志库。

您还可以使用 IProgress< T> 界面来报告长运行作业的进度，或者您要通过它发布的任何其他内容。 Progress< T> 实现负责将进度对象编组到它的父线程，通常是 UI 线程。

甚至 更好的 解决方案是使用 ActionBlock< T>。 ActionBlock 有一个可以对传入消息进行排队的输入缓冲区和一个允许您指定可以同时执行多少操作的 DOP 设置。默认值为 1 :

ActionBlock<string> _mailerBlock;

public void Init()
{
    var options=new ExecutionDataflowBlockOptions { 
        MaxDegreeOfParallelism = 5
     };
    _mailerBlock = new ActionBlock<string>(path=>xlmRead(path),options);
}

public void OnChanged(object sender, FileSystemEventArgs e)
{
    _logger.Info("File Added " + e.FullPath);
    _mailerBlock.Post(e.FullPath);
}

更好的是，您可以为阅读和电子邮件创建不同的块，并将它们连接到管道中。在这种情况下，文件 reader 会生成大量电子邮件，这意味着需要 TransformManyBlock :

class EmailInfo 
{ 
    public string Data{get;set;}
    public string Attachement{get;set;}
}


var readerBlock = new TransformManyBlock<string,EmailInfo>(path=>infosFromXml(path));

var mailBlock = new ActionBlock<EmailInfo>(info=>sendMailFromInfo(info));

readerBlock.LinkTo(mailBlock,new DataflowLinkOptions{PropagateCompletion=true});

xmlRead方法应该改成迭代器

public IEnumerable<EmailInfo> infosFromXml(string path)
{
    // Same as before ...
    foreach (var r in photo_information)
    {
        if (r.user_data != "")
        {
            ...
            yield return new EmailInfo{
                      Data=r.user_data, 
                      Attachment=attachmentFilename};
        }
       ...
    }
}

和sendmail到：

public void sendMailFromInfo(EmailInfo info)
{
    string email=info.Data;
    string attachmentFilename=info.Attachment;
}

当您想终止管道时，您可以在 head 块上调用 Complete() 并等待 tail 完成。这确保将处理所有剩余的文件：

readerBlock.Complete();
await mailerBlock.Completion;

FileSystemWatcher 丢失文件

FileSystemWatcher losing files

c#

xml

filesystemwatcher