具有 ReadabilityHandler 块的 NSTask 竞争条件
NSTask Race Condition With ReadabilityHandler Block
基本设置
我使用 NSTask
到 运行 优化图像的过程。此过程将输出数据写入 stdout
。我使用 NSTask
的 readabilityHandler
属性 来捕获该数据。这是简化的设置:
NSTask *task = [[NSTask alloc] init];
[task setArguments:arguments]; // arguments defined above
NSPipe *errorPipe = [NSPipe pipe];
[task setStandardError:errorPipe];
NSFileHandle *errorFileHandle = [errorPipe fileHandleForReading];
NSPipe *outputPipe = [NSPipe pipe];
[task setStandardOutput:outputPipe];
NSFileHandle *outputFileHandle = [outputPipe fileHandleForReading];
NSMutableData *outputData = [[NSMutableData alloc] init];
NSMutableData *errorOutputData = [[NSMutableData alloc] init];
outputFileHandle.readabilityHandler = ^void(NSFileHandle *handle) {
NSLog(@"Appending data for %@", inputPath.lastPathComponent);
[outputData appendData:handle.availableData];
};
errorFileHandle.readabilityHandler = ^void(NSFileHandle *handle) {
[errorOutputData appendData:handle.availableData];
};
然后我这样调用 NSTask:
[task setLaunchPath:_pathToJPEGOptim];
[task launch];
[task waitUntilExit];
(这都是在后台调度队列上完成的)。接下来我检查 NSTask 的 return 值:
if ([task terminationStatus] == 0)
{
newSize = outputData.length;
if (newSize <= 0)
{
NSString *errorString = [[NSString alloc] initWithData:errorOutputData encoding:NSUTF8StringEncoding];
NSLog(@"ERROR string: %@", errorString);
}
// Truncated for brevity...
}
问题
在大约 98% 的情况下,这都能完美运行。但是,似乎 -waitUntilExit
可以在 readabilityHandler 块 运行 之前触发。这是一个屏幕截图,显示可读性处理程序在任务退出后 运行ning:
所以这显然是调度队列 运行 与 readabilityHandler 和我启动 NSTask 的调度队列之间的竞争条件。我的问题是:我怎么才能确定 readabilityHandler 已经完成?如果当 NSTask 告诉我完成时,它可能没有完成,我该如何克服这种竞争条件?
注意:
我知道 NSTask 有一个可选的 completionHandler
块。但是文档指出这个块不能保证在 -waitUntilExit
return 之前 运行,这意味着它可以 运行 甚至比 -waitUntilExit
更早开始。这将使竞争条件更有可能。
创建一个初始值为 0 的信号量。在可读性处理程序中,检查从 availableData
编辑的数据对象 return 的长度是否为 0。如果是,则表示文件结束.在这种情况下,发出信号量。
然后,在 waitUntilExit
return 秒之后,等待信号量 两次 (您正在读取的每个管道一次)。当这些等待 return 时,您已获得所有数据。
更新:现代 macOS:
availableData
不再有我在下面描述的问题。我不确定它们何时得到解决,但至少 Monterey 工作正常。下面描述的方法适用于旧版本的 macOS.
此外,随着现代 Swift 并发系统的到位以及“线程始终可以向前推进”的新范式,使用如下信号量应该是最后的选择。如果可以的话,用NSTask
的completionHandler
API。我没有正式保证可读性处理程序将在调用 completionHandler 之前完成,但它们在实践中似乎是这样,至少在现代 macOS 上是这样。您的里程可能会有所不同。
旧建议:
好的,经过很多trial-and-error,这是正确的处理方式:
1。不要使用 -AvailableData
在您的可读性处理程序块中,不要使用 -availableData
方法。这有奇怪的副作用,有时不会捕获所有可用数据,并且会干扰系统尝试使用空 NSData 对象调用处理程序以发出管道关闭信号,因为 -availableData
阻塞直到数据实际可用。
2。使用 -readDataOfLength:
相反,在可读性处理程序块中使用 -readDataOfLength:NSUIntegerMax
。使用这种方法,处理程序正确地接收到一个空的 NSData 对象,您可以使用该对象来检测管道的关闭并发出信号量。
3。当心 macOS 10.12!
Apple 在 10.13 中修复了一个绝对关键的错误:在旧版本的 macOS 上,如果没有数据可读,则永远不会调用可读性处理程序。也就是说,他们永远不会被调用 zero-length 数据来表明他们已经完成。这会导致使用信号量方法的永久挂起,因为信号量永远不会递增。为了解决这个问题,我测试了 macOS 10.12 或更低版本,如果我在旧的 OS 上 运行,我只调用 dispatch_semaphore_wait()在 NSTask 的 completionHandler 块中与对 dispatch_semaphore_signal() 的单个调用配对。我让完成块休眠 0.2 秒以允许处理程序执行。这显然是一个非常丑陋的 hack,但它确实有效。如果我在 10.13 plus 上,我有不同的可读性处理程序向信号量发出信号(一次来自错误处理程序,一次来自正常输出处理程序)并且我仍然从 completionHandler 块向信号量发出信号。在我启动任务后,这些与对 dispatch_semaphore_wait() 的 3 次调用配对。在这种情况下,完成块中不需要延迟,因为当 fileHandle 完成时,macOS 正确地调用具有 zero-length 数据的可读性处理程序。
示例:
(注意:假设 stuff 的定义与我原来的问题示例相同。为了便于阅读,此代码已缩短。)
// Create the semaphore
dispatch_semaphore_t sema = dispatch_semaphore_create(0);
// Define a handler to collect output data from our NSTask
outputFileHandle.readabilityHandler = ^void(NSFileHandle *handle)
{
// DO NOT use -availableData in these handlers.
NSData *newData = [handle readDataOfLength:NSUIntegerMax];
if (newData.length == 0)
{
// end of data signal is an empty data object.
outputFileHandle.readabilityHandler = nil;
dispatch_semaphore_signal(sema);
}
else
{
[outputData appendData:newData];
}
};
// Repeat the above for the 'errorFileHandle' readabilityHandler.
[task launch];
// two calls to wait because we are going to signal the semaphore once when
// our 'outputFileHandle' pipe closes and once when our 'errorFileHandle' pipe closes
dispatch_semaphore_wait(sema, DISPATCH_TIME_FOREVER);
dispatch_semaphore_wait(sema, DISPATCH_TIME_FOREVER);
// ... do stuff when the task is done AND the pipes have finished handling data.
// After doing stuff, release the semaphore
dispatch_release(sema);
sema = NULL;
基本设置
我使用 NSTask
到 运行 优化图像的过程。此过程将输出数据写入 stdout
。我使用 NSTask
的 readabilityHandler
属性 来捕获该数据。这是简化的设置:
NSTask *task = [[NSTask alloc] init];
[task setArguments:arguments]; // arguments defined above
NSPipe *errorPipe = [NSPipe pipe];
[task setStandardError:errorPipe];
NSFileHandle *errorFileHandle = [errorPipe fileHandleForReading];
NSPipe *outputPipe = [NSPipe pipe];
[task setStandardOutput:outputPipe];
NSFileHandle *outputFileHandle = [outputPipe fileHandleForReading];
NSMutableData *outputData = [[NSMutableData alloc] init];
NSMutableData *errorOutputData = [[NSMutableData alloc] init];
outputFileHandle.readabilityHandler = ^void(NSFileHandle *handle) {
NSLog(@"Appending data for %@", inputPath.lastPathComponent);
[outputData appendData:handle.availableData];
};
errorFileHandle.readabilityHandler = ^void(NSFileHandle *handle) {
[errorOutputData appendData:handle.availableData];
};
然后我这样调用 NSTask:
[task setLaunchPath:_pathToJPEGOptim];
[task launch];
[task waitUntilExit];
(这都是在后台调度队列上完成的)。接下来我检查 NSTask 的 return 值:
if ([task terminationStatus] == 0)
{
newSize = outputData.length;
if (newSize <= 0)
{
NSString *errorString = [[NSString alloc] initWithData:errorOutputData encoding:NSUTF8StringEncoding];
NSLog(@"ERROR string: %@", errorString);
}
// Truncated for brevity...
}
问题
在大约 98% 的情况下,这都能完美运行。但是,似乎 -waitUntilExit
可以在 readabilityHandler 块 运行 之前触发。这是一个屏幕截图,显示可读性处理程序在任务退出后 运行ning:
所以这显然是调度队列 运行 与 readabilityHandler 和我启动 NSTask 的调度队列之间的竞争条件。我的问题是:我怎么才能确定 readabilityHandler 已经完成?如果当 NSTask 告诉我完成时,它可能没有完成,我该如何克服这种竞争条件?
注意:
我知道 NSTask 有一个可选的 completionHandler
块。但是文档指出这个块不能保证在 -waitUntilExit
return 之前 运行,这意味着它可以 运行 甚至比 -waitUntilExit
更早开始。这将使竞争条件更有可能。
创建一个初始值为 0 的信号量。在可读性处理程序中,检查从 availableData
编辑的数据对象 return 的长度是否为 0。如果是,则表示文件结束.在这种情况下,发出信号量。
然后,在 waitUntilExit
return 秒之后,等待信号量 两次 (您正在读取的每个管道一次)。当这些等待 return 时,您已获得所有数据。
更新:现代 macOS:
availableData
不再有我在下面描述的问题。我不确定它们何时得到解决,但至少 Monterey 工作正常。下面描述的方法适用于旧版本的 macOS.
此外,随着现代 Swift 并发系统的到位以及“线程始终可以向前推进”的新范式,使用如下信号量应该是最后的选择。如果可以的话,用NSTask
的completionHandler
API。我没有正式保证可读性处理程序将在调用 completionHandler 之前完成,但它们在实践中似乎是这样,至少在现代 macOS 上是这样。您的里程可能会有所不同。
旧建议:
好的,经过很多trial-and-error,这是正确的处理方式:
1。不要使用 -AvailableData
在您的可读性处理程序块中,不要使用 -availableData
方法。这有奇怪的副作用,有时不会捕获所有可用数据,并且会干扰系统尝试使用空 NSData 对象调用处理程序以发出管道关闭信号,因为 -availableData
阻塞直到数据实际可用。
2。使用 -readDataOfLength:
相反,在可读性处理程序块中使用 -readDataOfLength:NSUIntegerMax
。使用这种方法,处理程序正确地接收到一个空的 NSData 对象,您可以使用该对象来检测管道的关闭并发出信号量。
3。当心 macOS 10.12!
Apple 在 10.13 中修复了一个绝对关键的错误:在旧版本的 macOS 上,如果没有数据可读,则永远不会调用可读性处理程序。也就是说,他们永远不会被调用 zero-length 数据来表明他们已经完成。这会导致使用信号量方法的永久挂起,因为信号量永远不会递增。为了解决这个问题,我测试了 macOS 10.12 或更低版本,如果我在旧的 OS 上 运行,我只调用 dispatch_semaphore_wait()在 NSTask 的 completionHandler 块中与对 dispatch_semaphore_signal() 的单个调用配对。我让完成块休眠 0.2 秒以允许处理程序执行。这显然是一个非常丑陋的 hack,但它确实有效。如果我在 10.13 plus 上,我有不同的可读性处理程序向信号量发出信号(一次来自错误处理程序,一次来自正常输出处理程序)并且我仍然从 completionHandler 块向信号量发出信号。在我启动任务后,这些与对 dispatch_semaphore_wait() 的 3 次调用配对。在这种情况下,完成块中不需要延迟,因为当 fileHandle 完成时,macOS 正确地调用具有 zero-length 数据的可读性处理程序。
示例:
(注意:假设 stuff 的定义与我原来的问题示例相同。为了便于阅读,此代码已缩短。)
// Create the semaphore
dispatch_semaphore_t sema = dispatch_semaphore_create(0);
// Define a handler to collect output data from our NSTask
outputFileHandle.readabilityHandler = ^void(NSFileHandle *handle)
{
// DO NOT use -availableData in these handlers.
NSData *newData = [handle readDataOfLength:NSUIntegerMax];
if (newData.length == 0)
{
// end of data signal is an empty data object.
outputFileHandle.readabilityHandler = nil;
dispatch_semaphore_signal(sema);
}
else
{
[outputData appendData:newData];
}
};
// Repeat the above for the 'errorFileHandle' readabilityHandler.
[task launch];
// two calls to wait because we are going to signal the semaphore once when
// our 'outputFileHandle' pipe closes and once when our 'errorFileHandle' pipe closes
dispatch_semaphore_wait(sema, DISPATCH_TIME_FOREVER);
dispatch_semaphore_wait(sema, DISPATCH_TIME_FOREVER);
// ... do stuff when the task is done AND the pipes have finished handling data.
// After doing stuff, release the semaphore
dispatch_release(sema);
sema = NULL;