Kafka 代理关闭，因为日志目录失败
Kafka brokers shuts down because log dirs have failed
我有一个包含 3 个代理的 Kafka 集群，Kafka 日志位于 /tmp 目录中。我是 运行 MongoDB 的 Debezium 源连接器，它从 4 个集合中轮询数据。
但是在启动连接器后 5 分钟内，Kafka 代理关闭并出现以下错误：
[2020-04-16 18:25:08,642] ERROR Shutdown broker because all log dirs in /tmp/kafka-logs-1 have failed (kafka.log.LogManager)
我尝试了不同的建议，即。删除 Kafka 日志并清除 Zookeeper 日志。但是我运行又遇到了同样的问题。
我还注意到发生这种情况时，kafka 日志占用了 100% 的 /tmp 目录。所以我也根据大小更改了日志保留策略。
log.retention.hours=168
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=10000
这也是徒劳的。
我想在这方面得到一些帮助。提前致谢！
您的日志文件已损坏，可能是因为您 运行 存储空间不足。
我建议在 server.properties 中更改 log.dirs。还要确保您没有使用 tmp/ 位置，因为一旦您的机器关闭，它就会被清除。更改 log.dirs 后，您可以重新启动 Kafka。
请注意，较旧的消息将会丢失。
我有一个包含 3 个代理的 Kafka 集群，Kafka 日志位于 /tmp 目录中。我是 运行 MongoDB 的 Debezium 源连接器，它从 4 个集合中轮询数据。
但是在启动连接器后 5 分钟内，Kafka 代理关闭并出现以下错误：
[2020-04-16 18:25:08,642] ERROR Shutdown broker because all log dirs in /tmp/kafka-logs-1 have failed (kafka.log.LogManager)
我尝试了不同的建议，即。删除 Kafka 日志并清除 Zookeeper 日志。但是我运行又遇到了同样的问题。
我还注意到发生这种情况时，kafka 日志占用了 100% 的 /tmp 目录。所以我也根据大小更改了日志保留策略。
log.retention.hours=168
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=10000
这也是徒劳的。 我想在这方面得到一些帮助。提前致谢！
您的日志文件已损坏，可能是因为您 运行 存储空间不足。
我建议在 server.properties 中更改 log.dirs。还要确保您没有使用 tmp/ 位置，因为一旦您的机器关闭，它就会被清除。更改 log.dirs 后，您可以重新启动 Kafka。
请注意，较旧的消息将会丢失。