std::cerr 不等待 std::cout（当 运行 CTest 时）
std::cerr doesn't wait for std::cout (when running CTest)
上下文
我写了一个记录器为用户打印消息。级别为 "debug"、"info" 或 "warning" 的消息打印在 std::cout 中，级别为 "error" 或 "system_error" 的消息打印在 [=19= 中].我的程序不是多线程的。我在 Linux openSUSE 12.3 下工作，gcc 4.7.2 和 CMake 3.1.0。
我的问题
我发现有时，当一条错误消息（打印在 std::cerr 中）跟在一条长信息消息（打印在 std::cout 中）并且输出被重定向到文件时 LastTest.log 通过 CTest，错误消息出现在信息消息中（请看下面的示例）。我不太了解这种行为，但我想为 std::cout 启动了一个写入线程，然后代码继续并为 std::cerr 启动了另一个写入线程，而不等待第一个线程终止。
是否可以不使用 std::cout 来避免这种情况？
终端没有问题。只有当 CTest 将输出重定向到 LastTest.log 文件时才会发生。
请注意，我的缓冲区已刷新。这不是 std::endl 在调用 std::cerr !
之后出现的问题
例子
预期行为：
[ 12:06:51.497 TRACE ] Start test
[ 12:06:52.837 WARNING ] This
is
a
very
long
warning
message...
[ 12:06:52.837 ERROR ] AT LINE 49 : 7
[ 12:06:52.841 ERROR ] AT LINE 71 : 506
[ 12:06:52.841 TRACE ] End of test
发生了什么：
[ 12:06:51.497 TRACE ] Start test
[ 12:06:52.837 WARNING ] This
is
a
very
long
[ 12:06:52.837 ERROR ] AT LINE 49 : 7
warning
message...
[ 12:06:52.841 ERROR ] AT LINE 71 : 506
[ 12:06:52.841 TRACE ] End of test
我如何称呼我的记录器
这是我如何使用记录器调用 std::cout 或 std::cerr 的示例。
我用这样的宏调用记录器：
#define LOG_DEBUG(X) {if(Log::debug_is_active()){std::ostringstream o;o<<X;Log::debug(o.str());}}
#define LOG_ERROR(X) {if(Log::error_is_active()){std::ostringstream o;o<<X;Log::error(o.str());}}
//...
LOG_DEBUG("This" << std::endl << "is" << std::endl << "a message");
LOG_ERROR("at line " << __LINE__ << " : " << err_id);
和
void Log::debug(const std::string& msg)
{
Log::write_if_active(Log::DEBUG, msg);
}
void Log::error(const std::string& msg)
{
Log::write_if_active(Log::ERROR, msg);
}
//...
void Log::write_if_active(unsigned short int state, const std::string& msg)
{
Instant now;
now.setCurrentTime();
std::vector<std::string> lines;
for(std::size_t k = 0; k < msg.size();)
{
std::size_t next_endl = msg.find('\n', k);
if(next_endl == std::string::npos)
next_endl = msg.size();
lines.push_back(msg.substr(k, next_endl - k));
k = next_endl + 1;
}
boost::mutex::scoped_lock lock(Log::mutex);
for(unsigned long int i = 0; i < Log::chanels.size(); ++i)
if(Log::chanels[i])
if(Log::chanels[i]->flags & state)
Log::chanels[i]->write(state, now, lines);
}
这里log通道是专门用于终端输出的对象，write函数是：
void Log::StdOut::write(unsigned short int state, const Instant& t, const std::vector<std::string>& lines)
{
assert(lines.size() > 0 && "PRE: empty lines");
std::string prefix = "[ ";
if(this->withDate || this->withTime)
{
std::string pattern = "";
if(this->withDate)
pattern += "%Y-%m-%d ";
if(this->withTime)
pattern += "%H:%M:%S.%Z ";
prefix += t.toString(pattern);
}
std::ostream* out = 0;
if(state == Log::TRACE)
{
prefix += " TRACE";
out = &std::cout;
}
else if(state == Log::DEBUG)
{
prefix += " DEBUG";
out = &std::cout;
}
else if(state == Log::INFO)
{
prefix += " INFO";
out = &std::cout;
}
else if(state == Log::WARNING)
{
prefix += "WARNING";
out = &std::cout;
}
else if(state == Log::ERROR)
{
prefix += " ERROR";
out = &std::cerr;
}
else if(state == Log::SYS_ERROR)
{
prefix += "SYERROR";
out = &std::cerr;
}
else
assert(false && "PRE: Invalid Log state");
prefix += " ] ";
(*out) << prefix << lines[0] << "\n";
prefix = std::string(prefix.size(), ' ');
for(unsigned long int i = 1; i < lines.size(); ++i)
(*out) << prefix << lines[i] << "\n";
out->flush();
}
你可以看到我的buffer在log指令执行的时候被flush了
我以前曾以几种形式看到过这种行为。中心思想是记住 std::cout 和 std::cerr 写入两个 完全独立的 流，所以任何时候你在同一个地方看到两者的输出，它是由于您程序之外的某种机制合并了两个流。
有时候，我看到这个只是因为一个错误，比如
myprogram > logfile &
tail -f logfile
它在写入日志文件时正在观察它，但也忘记将 stderr 重定向到日志文件，因此写入 stdout 至少要在 [=15= 内部进行两层额外的缓冲] 在显示之前，但写入 stderr 直接进入 tty，因此可以混入。
我见过的其他示例涉及外部进程合并流。我对 CTest 一无所知，但也许它正在这样做。此类进程没有义务根据您最初将它们写入流的确切时间对行进行排序，并且即使他们想要也可能无法访问该信息！
你真的只有两个选择：
- 将两个日志写入同一个流——例如使用
std::clog 代替 std::cout 或 std::cout 代替 std::cerr；或使用 myprogram 2>&1 或类似的 启动程序
- 确保合并是由一个进程完成的，该进程实际上知道它正在合并什么，并注意适当地进行。如果您通过传递包含日志记录事件的数据包而不是自己编写格式化的日志消息来进行通信，这种方法会更好。
我不是 C++ 专家，但这可能会有所帮助...
我相信您在此处看到的问题，当重定向到一个文件时，是由 cstdio 库试图变得聪明引起的。我的理解是，在 Linux，C++ iostreams 最终将它们的输出发送到 cstdio 库。
启动时，cstdio 库会检测您是将输出发送到终端还是文件。如果输出到终端，则 stdio 是行缓冲的。如果输出到文件，则 stdio 变为块缓冲。
stderr 的输出从不缓冲，因此将立即发送。
对于解决方案，您可以尝试在 stdout 上使用 fflush，或者您可以考虑在 stdout 上使用 setvbuf 函数来强制行缓冲输出（如果您愿意，甚至可以是无缓冲输出）。像这样的东西应该强制 stdout 进行行缓冲 setvbuf(stdout, NULL, _IOLBF, 0).
回答我自己的问题
最后来自一个bug in CMake.
CTest 无法管理两个缓冲区的顺序，因此不关心输出的确切顺序。
将在CMake >= 3.4中解决。
上下文
我写了一个记录器为用户打印消息。级别为 "debug"、"info" 或 "warning" 的消息打印在 std::cout 中，级别为 "error" 或 "system_error" 的消息打印在 [=19= 中].我的程序不是多线程的。我在 Linux openSUSE 12.3 下工作，gcc 4.7.2 和 CMake 3.1.0。
我的问题
我发现有时，当一条错误消息（打印在 std::cerr 中）跟在一条长信息消息（打印在 std::cout 中）并且输出被重定向到文件时 LastTest.log 通过 CTest，错误消息出现在信息消息中（请看下面的示例）。我不太了解这种行为，但我想为 std::cout 启动了一个写入线程，然后代码继续并为 std::cerr 启动了另一个写入线程，而不等待第一个线程终止。
是否可以不使用 std::cout 来避免这种情况？
终端没有问题。只有当 CTest 将输出重定向到 LastTest.log 文件时才会发生。
请注意，我的缓冲区已刷新。这不是 std::endl 在调用 std::cerr !
例子
预期行为：
[ 12:06:51.497 TRACE ] Start test
[ 12:06:52.837 WARNING ] This
is
a
very
long
warning
message...
[ 12:06:52.837 ERROR ] AT LINE 49 : 7
[ 12:06:52.841 ERROR ] AT LINE 71 : 506
[ 12:06:52.841 TRACE ] End of test
发生了什么：
[ 12:06:51.497 TRACE ] Start test
[ 12:06:52.837 WARNING ] This
is
a
very
long
[ 12:06:52.837 ERROR ] AT LINE 49 : 7
warning
message...
[ 12:06:52.841 ERROR ] AT LINE 71 : 506
[ 12:06:52.841 TRACE ] End of test
我如何称呼我的记录器
这是我如何使用记录器调用 std::cout 或 std::cerr 的示例。
我用这样的宏调用记录器：
#define LOG_DEBUG(X) {if(Log::debug_is_active()){std::ostringstream o;o<<X;Log::debug(o.str());}}
#define LOG_ERROR(X) {if(Log::error_is_active()){std::ostringstream o;o<<X;Log::error(o.str());}}
//...
LOG_DEBUG("This" << std::endl << "is" << std::endl << "a message");
LOG_ERROR("at line " << __LINE__ << " : " << err_id);
和
void Log::debug(const std::string& msg)
{
Log::write_if_active(Log::DEBUG, msg);
}
void Log::error(const std::string& msg)
{
Log::write_if_active(Log::ERROR, msg);
}
//...
void Log::write_if_active(unsigned short int state, const std::string& msg)
{
Instant now;
now.setCurrentTime();
std::vector<std::string> lines;
for(std::size_t k = 0; k < msg.size();)
{
std::size_t next_endl = msg.find('\n', k);
if(next_endl == std::string::npos)
next_endl = msg.size();
lines.push_back(msg.substr(k, next_endl - k));
k = next_endl + 1;
}
boost::mutex::scoped_lock lock(Log::mutex);
for(unsigned long int i = 0; i < Log::chanels.size(); ++i)
if(Log::chanels[i])
if(Log::chanels[i]->flags & state)
Log::chanels[i]->write(state, now, lines);
}
这里log通道是专门用于终端输出的对象，write函数是：
void Log::StdOut::write(unsigned short int state, const Instant& t, const std::vector<std::string>& lines)
{
assert(lines.size() > 0 && "PRE: empty lines");
std::string prefix = "[ ";
if(this->withDate || this->withTime)
{
std::string pattern = "";
if(this->withDate)
pattern += "%Y-%m-%d ";
if(this->withTime)
pattern += "%H:%M:%S.%Z ";
prefix += t.toString(pattern);
}
std::ostream* out = 0;
if(state == Log::TRACE)
{
prefix += " TRACE";
out = &std::cout;
}
else if(state == Log::DEBUG)
{
prefix += " DEBUG";
out = &std::cout;
}
else if(state == Log::INFO)
{
prefix += " INFO";
out = &std::cout;
}
else if(state == Log::WARNING)
{
prefix += "WARNING";
out = &std::cout;
}
else if(state == Log::ERROR)
{
prefix += " ERROR";
out = &std::cerr;
}
else if(state == Log::SYS_ERROR)
{
prefix += "SYERROR";
out = &std::cerr;
}
else
assert(false && "PRE: Invalid Log state");
prefix += " ] ";
(*out) << prefix << lines[0] << "\n";
prefix = std::string(prefix.size(), ' ');
for(unsigned long int i = 1; i < lines.size(); ++i)
(*out) << prefix << lines[i] << "\n";
out->flush();
}
你可以看到我的buffer在log指令执行的时候被flush了
我以前曾以几种形式看到过这种行为。中心思想是记住 std::cout 和 std::cerr 写入两个 完全独立的 流，所以任何时候你在同一个地方看到两者的输出，它是由于您程序之外的某种机制合并了两个流。
有时候，我看到这个只是因为一个错误，比如
myprogram > logfile &
tail -f logfile
它在写入日志文件时正在观察它，但也忘记将 stderr 重定向到日志文件，因此写入 stdout 至少要在 [=15= 内部进行两层额外的缓冲] 在显示之前，但写入 stderr 直接进入 tty，因此可以混入。
我见过的其他示例涉及外部进程合并流。我对 CTest 一无所知，但也许它正在这样做。此类进程没有义务根据您最初将它们写入流的确切时间对行进行排序，并且即使他们想要也可能无法访问该信息！
你真的只有两个选择：
- 将两个日志写入同一个流——例如使用
std::clog代替std::cout或std::cout代替std::cerr；或使用myprogram 2>&1或类似的 启动程序
- 确保合并是由一个进程完成的，该进程实际上知道它正在合并什么，并注意适当地进行。如果您通过传递包含日志记录事件的数据包而不是自己编写格式化的日志消息来进行通信，这种方法会更好。
我不是 C++ 专家，但这可能会有所帮助...
我相信您在此处看到的问题，当重定向到一个文件时，是由 cstdio 库试图变得聪明引起的。我的理解是，在 Linux，C++ iostreams 最终将它们的输出发送到 cstdio 库。
启动时，cstdio 库会检测您是将输出发送到终端还是文件。如果输出到终端，则 stdio 是行缓冲的。如果输出到文件，则 stdio 变为块缓冲。
stderr 的输出从不缓冲，因此将立即发送。
对于解决方案，您可以尝试在 stdout 上使用 fflush，或者您可以考虑在 stdout 上使用 setvbuf 函数来强制行缓冲输出（如果您愿意，甚至可以是无缓冲输出）。像这样的东西应该强制 stdout 进行行缓冲 setvbuf(stdout, NULL, _IOLBF, 0).
回答我自己的问题
最后来自一个bug in CMake.
CTest 无法管理两个缓冲区的顺序，因此不关心输出的确切顺序。
将在CMake >= 3.4中解决。