如何在 dataproc 集群上重启 hadoop 服务

Question

我可能使用了错误的术语进行搜索，但 google 并未告诉我如何执行此操作。问题是更改一些配置文件（yarn 属性等）后如何在 Dataproc 上重启 hadoop 服务？

必须按特定顺序在整个集群中重新启动服务。必须有脚本或工具，希望在 Dataproc 安装中，我可以调用它们来重新启动集群。

Answer 1

配置属性是一个常见且受支持的用例。

您可以通过 cluster properties 执行此操作，无需重启守护程序。示例：

dataproc clusters create my-cluster --properties yarn:yarn.resourcemanager.client.thread-count=100

如果您要执行更高级的操作，例如更新服务日志级别，则可以使用 systemctl 重新启动服务。

首先通过 ssh 连接到集群节点并键入 systemctl 以查看可用服务列表。例如重启 HDFS NameNode 类型 sudo systemctl restart hadoop-hdfs-namenode.service

如果这是初始化操作的一部分，则不需要 sudo。

Answer 2

在主节点上：

sudo systemctl restart hadoop-yarn-resourcemanager.service
sudo systemctl restart hadoop-hdfs-namenode.service

在工作节点上：

sudo systemctl restart hadoop-yarn-nodemanager.service
sudo systemctl restart hadoop-hdfs-datanode.service

之后，您可以使用systemctl status <name>查看服务状态，也可以在/var/log/hadoop中查看日志。

How do I restart hadoop services on dataproc cluster