错误主题的kafka用例

Question

我正在尝试放置管道，但我刚刚意识到我真的不知道为什么会出现错误以及为什么会有错误主题。我将指望一些元数据成为某些值，但除此之外，还有什么是 "typical" kafka 错误吗？我不确定 "typcial" kafka 错误主题的用途。这是专门针对流应用程序的。感谢您的帮助。

Answer 1

流媒体环境中错误主题的一个示例是它包含未能遵守其合同的消息。示例：如果您的传入事件旨在采用某种 json 格式，您的 Spark 应用程序将首先尝试将事件解析为适合事件 json 契约的 class。

如果格式正确，则会对其进行解析并继续应用程序。

如果格式不正确，解析失败，json字符串被发送到错误主题。

其他用例可能是将事件发送回错误主题以供稍后处理。即连接到其他服务的网络问题。