具有 ReadabilityHandler 块的 NSTask 竞争条件

NSTask Race Condition With ReadabilityHandler Block

基本设置

我使用 NSTask 到 运行 优化图像的过程。此过程将输出数据写入 stdout。我使用 NSTaskreadabilityHandler 属性 来捕获该数据。这是简化的设置:

NSTask *task = [[NSTask alloc] init];
[task setArguments:arguments];  // arguments defined above
                   
NSPipe *errorPipe = [NSPipe pipe];
[task setStandardError:errorPipe];
NSFileHandle *errorFileHandle = [errorPipe fileHandleForReading];
                   
NSPipe *outputPipe = [NSPipe pipe];
[task setStandardOutput:outputPipe];
NSFileHandle *outputFileHandle = [outputPipe fileHandleForReading];
                   
NSMutableData *outputData = [[NSMutableData alloc] init];
NSMutableData *errorOutputData = [[NSMutableData alloc] init];
                   
outputFileHandle.readabilityHandler = ^void(NSFileHandle *handle) { 
      NSLog(@"Appending data for %@", inputPath.lastPathComponent); 
      [outputData appendData:handle.availableData]; 
};

errorFileHandle.readabilityHandler = ^void(NSFileHandle *handle) { 
       [errorOutputData appendData:handle.availableData]; 
};

然后我这样调用 NSTask:

[task setLaunchPath:_pathToJPEGOptim];
[task launch];
[task waitUntilExit];

(这都是在后台调度队列上完成的)。接下来我检查 NSTask 的 return 值:

if ([task terminationStatus] == 0)
{
    newSize = outputData.length;
                           
    if (newSize <= 0)
    {
        NSString *errorString = [[NSString alloc] initWithData:errorOutputData encoding:NSUTF8StringEncoding];
        NSLog(@"ERROR string: %@", errorString);
    }

    // Truncated for brevity...
}

问题

在大约 98% 的情况下,这都能完美运行。但是,似乎 -waitUntilExit 可以在 readabilityHandler 块 运行 之前触发。这是一个屏幕截图,显示可读性处理程序在任务退出后 运行ning:

所以这显然是调度队列 运行 与 readabilityHandler 和我启动 NSTask 的调度队列之间的竞争条件。我的问题是:我怎么才能确定 readabilityHandler 已经完成?如果当 NSTask 告诉我完成时,它可能没有完成,我该如何克服这种竞争条件?


注意:

我知道 NSTask 有一个可选的 completionHandler 块。但是文档指出这个块不能保证在 -waitUntilExit return 之前 运行,这意味着它可以 运行 甚至比 -waitUntilExit 更早开始。这将使竞争条件更有可能。

创建一个初始值为 0 的信号量。在可读性处理程序中,检查从 availableData 编辑的数据对象 return 的长度是否为 0。如果是,则表示文件结束.在这种情况下,发出信号量。

然后,在 waitUntilExit return 秒之后,等待信号量 两次 (您正在读取的每个管道一次)。当这些等待 return 时,您已获得所有数据。

更新:现代 macOS:

availableData 不再有我在下面描述的问题。我不确定它们何时得到解决,但至少 Monterey 工作正常。下面描述的方法适用于旧版本的 macOS.

此外,随着现代 Swift 并发系统的到位以及“线程始终可以向前推进”的新范式,使用如下信号量应该是最后的选择。如果可以的话,用NSTaskcompletionHandlerAPI。我没有正式保证可读性处理程序将在调用 completionHandler 之前完成,但它们在实践中似乎是这样,至少在现代 macOS 上是这样。您的里程可能会有所不同。


旧建议:

好的,经过很多trial-and-error,这是正确的处理方式:

1。不要使用 -AvailableData

在您的可读性处理程序块中,不要使用 -availableData 方法。这有奇怪的副作用,有时不会捕获所有可用数据,并且会干扰系统尝试使用空 NSData 对象调用处理程序以发出管道关闭信号,因为 -availableData 阻塞直到数据实际可用。

2。使用 -readDataOfLength:

相反,在可读性处理程序块中使用 -readDataOfLength:NSUIntegerMax。使用这种方法,处理程序正确地接收到一个空的 NSData 对象,您可以使用该对象来检测管道的关闭并发出信号量。

3。当心 macOS 10.12!

Apple 在 10.13 中修复了一个绝对关键的错误:在旧版本的 macOS 上,如果没有数据可读,则永远不会调用可读性处理程序。也就是说,他们永远不会被调用 zero-length 数据来表明他们已经完成。这会导致使用信号量方法的永久挂起,因为信号量永远不会递增。为了解决这个问题,我测试了 macOS 10.12 或更低版本,如果我在旧的 OS 上 运行,我只调用 dispatch_semaphore_wait()在 NSTask 的 completionHandler 块中与对 dispatch_semaphore_signal() 的单个调用配对。我让完成块休眠 0.2 秒以允许处理程序执行。这显然是一个非常丑陋的 hack,但它确实有效。如果我在 10.13 plus 上,我有不同的可读性处理程序向信号量发出信号(一次来自错误处理程序,一次来自正常输出处理程序)并且我仍然从 completionHandler 块向信号量发出信号。在我启动任务后,这些与对 dispatch_semaphore_wait() 的 3 次调用配对。在这种情况下,完成块中不需要延迟,因为当 fileHandle 完成时,macOS 正确地调用具有 zero-length 数据的可读性处理程序。


示例:

(注意:假设 stuff 的定义与我原来的问题示例相同。为了便于阅读,此代码已缩短。)

// Create the semaphore
dispatch_semaphore_t sema = dispatch_semaphore_create(0);

// Define a handler to collect output data from our NSTask
outputFileHandle.readabilityHandler = ^void(NSFileHandle *handle)
{
    // DO NOT use -availableData in these handlers.
    NSData *newData = [handle readDataOfLength:NSUIntegerMax];
    if (newData.length == 0) 
    {
        // end of data signal is an empty data object.
        outputFileHandle.readabilityHandler = nil;
        dispatch_semaphore_signal(sema);
    } 
    else 
    {
       [outputData appendData:newData];
    }
};

// Repeat the above for the 'errorFileHandle' readabilityHandler.


[task launch];
  
// two calls to wait because we are going to signal the semaphore once when
// our 'outputFileHandle' pipe closes and once when our 'errorFileHandle' pipe closes                     
dispatch_semaphore_wait(sema, DISPATCH_TIME_FOREVER);
dispatch_semaphore_wait(sema, DISPATCH_TIME_FOREVER);

// ... do stuff when the task is done AND the pipes have finished handling data.

// After doing stuff, release the semaphore
dispatch_release(sema);
sema = NULL;