如何在 gce 中禁用整个集群的日志

How to disable logs for whole cluster in gce

是否可以为已经创建的 (Yarn/Hadoop) 集群禁用内部所有服务器的日志记录?

我找不到类似的东西。 Dataproc 或 Compute Engine 中有什么可以帮助我禁用日志吗?

一种简单的方法是在 Stackdriver Logging 中创建一个 exclusion,以防止来自该集群的日志被引入 Stackdriver。

您可以在 Stacdriver 中创建基于资源的排除 - select 您想要的 DataProc 集群,它将停止收集任何日志 - 因此会为此向您收费。

转到 Logs Ingestion 页面,select 排除并单击蓝色按钮 "create exclusion"。

作为资源类型 select "Cloud Dataproc Cluster" > your_cluster_name > 全部 cluster_uuid 如下所示。另外 - select "no limit" 时间范围。

填写右侧的 "Name" 字段,然后再次单击蓝色按钮 "Create Exlusion"。

您最多可以在 StackDriver 中创建 50 exclusion queries

在 Google 支持的帮助和建议很少的情况下,有一个完整的解决方案可以跳过整个 yarn/hadoop 集群的日志记录。 这只有在通过 google 云页面或控制台从 dataproc 创建新集群时才有可能。 属性 应在集群属性字段中设置: dataproc:dataproc.logging.stackdriver.enable 成为 false

更多信息位于:https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/cluster-properties

如果您通过控制台创建集群,您可以引用 https://cloud.google.com/sdk/gcloud/reference/dataproc/clusters/create#--properties 并使用如下命令:

 gcloud.cmd --properties 'dataproc:dataproc.logging.stackdriver.enable=false'