mapR Kafka 无法启动第二轮
mapR Kafka cannot start second time round
到目前为止,我已经使用了 Hadoop 的现有专业安装和组件 运行ning,或者安装了 Kafka 并在本机 VM 中使用了同样提供的 Zookeeper。
我现在正在尝试将 mapR 社区版沙箱升级到 运行。
- mapR上有KAFKA库,这里使用jps时没有显示kafka。看起来很奇怪?我成功让 KAFKA 启动了一次。
- mapR 上有一个 Zookeeper 服务,但它使用端口 5181,而不是 2181。
Kafka 使用端口 9092。
kafka的log.dirs设置为/tmp/kafka-logs,我改成了/opt/kafka-logs
dataDir也设置为/tmp/zookeeper,我改成了/opt/zookeeper
我还将 Zookeeper 端口更改为 5181,因为这是 mapR 使用的端口。
它 运行 一次,然后我重新开始,我仍然得到这种类型的错误:
java.io.FileNotFoundException: /tmp/kafka-logs/.lock (Permission denied)
我已经在我认为需要的地方完成了 chmod 777,但是我将路径从 /tmp 更改为 /opt/...。那么,为什么它会再次选择 /tmp?
我的印象是,无论配置如何更新,它都会一直指向 /tmp。
我也看到一条警告 - 尽管我认为这不是问题:
[2019-01-14 13:26:46,355] WARN No meta.properties file under dir /tmp/kafka-logs/meta.properties (kafka.server.BrokerMetadataCheckpoint)
可能是因为 mapR Streams 我无法影响它以 运行 原生?
好的,我可以在解决问题时将其删除,但对于 mapR 上的问题,我推断:
- 您需要立即将 server.properties 上的端口 2181 更新为 5181。在这种情况下,我们与现有的 zookeeper 实例集成。
- 同样,尽快将 Kafka 的 log.dirs 从 /tmp/kafka-logs 更新为 /opt/kafka-logs。
- 同样,尽快将 dataDir 从 /tmp/zookeeper 更新为 /opt/zookeeper。
稍后尝试修复,否则会导致各种问题。我最终只是重新安装并从头开始做。
mapR 有一个更快的版本,称为 mapR Streams,它实现了 Kafka。我不想用它来做我想做的事情,但是 mapR Sandbox 有很多开箱即用的最新项目——当然与 Cloudera 相比。
到目前为止,我已经使用了 Hadoop 的现有专业安装和组件 运行ning,或者安装了 Kafka 并在本机 VM 中使用了同样提供的 Zookeeper。
我现在正在尝试将 mapR 社区版沙箱升级到 运行。
- mapR上有KAFKA库,这里使用jps时没有显示kafka。看起来很奇怪?我成功让 KAFKA 启动了一次。
- mapR 上有一个 Zookeeper 服务,但它使用端口 5181,而不是 2181。
Kafka 使用端口 9092。
kafka的log.dirs设置为/tmp/kafka-logs,我改成了/opt/kafka-logs
dataDir也设置为/tmp/zookeeper,我改成了/opt/zookeeper
我还将 Zookeeper 端口更改为 5181,因为这是 mapR 使用的端口。
它 运行 一次,然后我重新开始,我仍然得到这种类型的错误:
java.io.FileNotFoundException: /tmp/kafka-logs/.lock (Permission denied)
我已经在我认为需要的地方完成了 chmod 777,但是我将路径从 /tmp 更改为 /opt/...。那么,为什么它会再次选择 /tmp?
我的印象是,无论配置如何更新,它都会一直指向 /tmp。
我也看到一条警告 - 尽管我认为这不是问题:
[2019-01-14 13:26:46,355] WARN No meta.properties file under dir /tmp/kafka-logs/meta.properties (kafka.server.BrokerMetadataCheckpoint)
可能是因为 mapR Streams 我无法影响它以 运行 原生?
好的,我可以在解决问题时将其删除,但对于 mapR 上的问题,我推断:
- 您需要立即将 server.properties 上的端口 2181 更新为 5181。在这种情况下,我们与现有的 zookeeper 实例集成。
- 同样,尽快将 Kafka 的 log.dirs 从 /tmp/kafka-logs 更新为 /opt/kafka-logs。
- 同样,尽快将 dataDir 从 /tmp/zookeeper 更新为 /opt/zookeeper。
稍后尝试修复,否则会导致各种问题。我最终只是重新安装并从头开始做。
mapR 有一个更快的版本,称为 mapR Streams,它实现了 Kafka。我不想用它来做我想做的事情,但是 mapR Sandbox 有很多开箱即用的最新项目——当然与 Cloudera 相比。