为什么 Flink dashboard 不显示从源接收或写入接收器的记录数?
Why doesn't Flink dashboard show the number of records received from the source or written to a sink?
Flink 仪表板很棒,可以显示 运行 作业的很多详细信息。然而,我注意到的一件事是,作业的源和接收器将分别显示接收到的记录和发送的记录 0
。
现在我知道他们仍然在工作之外接收和发送记录,但是 0
往往让人很困惑。为什么选择这样是有原因的吗?或者有办法让它不是 0
?
特别是对于接收器,如果序列化模式无法序列化消息(并且捕获并记录了错误而不是导致作业失败),您看不到接收器实际输出的数字来反映这一点.你总是看到 0
并假设一切都通过了。
原因是我们无法以通用方式对其进行衡量,必须分别在每个 source/sink 中实施衡量,我们只是还没有找到时间。另一个问题是,这必须在 user-defined 函数内完成,但(目前)无法从那里访问相关指标。
Flink 仪表板很棒,可以显示 运行 作业的很多详细信息。然而,我注意到的一件事是,作业的源和接收器将分别显示接收到的记录和发送的记录 0
。
现在我知道他们仍然在工作之外接收和发送记录,但是 0
往往让人很困惑。为什么选择这样是有原因的吗?或者有办法让它不是 0
?
特别是对于接收器,如果序列化模式无法序列化消息(并且捕获并记录了错误而不是导致作业失败),您看不到接收器实际输出的数字来反映这一点.你总是看到 0
并假设一切都通过了。
原因是我们无法以通用方式对其进行衡量,必须分别在每个 source/sink 中实施衡量,我们只是还没有找到时间。另一个问题是,这必须在 user-defined 函数内完成,但(目前)无法从那里访问相关指标。