如何在 gce 中禁用整个集群的日志
How to disable logs for whole cluster in gce
是否可以为已经创建的 (Yarn/Hadoop) 集群禁用内部所有服务器的日志记录?
我找不到类似的东西。 Dataproc 或 Compute Engine 中有什么可以帮助我禁用日志吗?
一种简单的方法是在 Stackdriver Logging 中创建一个 exclusion,以防止来自该集群的日志被引入 Stackdriver。
您可以在 Stacdriver 中创建基于资源的排除 - select 您想要的 DataProc 集群,它将停止收集任何日志 - 因此会为此向您收费。
转到 Logs Ingestion 页面,select 排除并单击蓝色按钮 "create exclusion"。
作为资源类型 select "Cloud Dataproc Cluster" > your_cluster_name > 全部 cluster_uuid 如下所示。另外 - select "no limit" 时间范围。
填写右侧的 "Name" 字段,然后再次单击蓝色按钮 "Create Exlusion"。
您最多可以在 StackDriver 中创建 50 exclusion queries。
在 Google 支持的帮助和建议很少的情况下,有一个完整的解决方案可以跳过整个 yarn/hadoop 集群的日志记录。
这只有在通过 google 云页面或控制台从 dataproc 创建新集群时才有可能。
属性 应在集群属性字段中设置:
dataproc:dataproc.logging.stackdriver.enable
成为 false
更多信息位于:https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/cluster-properties
如果您通过控制台创建集群,您可以引用 https://cloud.google.com/sdk/gcloud/reference/dataproc/clusters/create#--properties 并使用如下命令:
gcloud.cmd --properties 'dataproc:dataproc.logging.stackdriver.enable=false'
是否可以为已经创建的 (Yarn/Hadoop) 集群禁用内部所有服务器的日志记录?
我找不到类似的东西。 Dataproc 或 Compute Engine 中有什么可以帮助我禁用日志吗?
一种简单的方法是在 Stackdriver Logging 中创建一个 exclusion,以防止来自该集群的日志被引入 Stackdriver。
您可以在 Stacdriver 中创建基于资源的排除 - select 您想要的 DataProc 集群,它将停止收集任何日志 - 因此会为此向您收费。
转到 Logs Ingestion 页面,select 排除并单击蓝色按钮 "create exclusion"。
作为资源类型 select "Cloud Dataproc Cluster" > your_cluster_name > 全部 cluster_uuid 如下所示。另外 - select "no limit" 时间范围。
填写右侧的 "Name" 字段,然后再次单击蓝色按钮 "Create Exlusion"。
您最多可以在 StackDriver 中创建 50 exclusion queries。
在 Google 支持的帮助和建议很少的情况下,有一个完整的解决方案可以跳过整个 yarn/hadoop 集群的日志记录。
这只有在通过 google 云页面或控制台从 dataproc 创建新集群时才有可能。
属性 应在集群属性字段中设置:
dataproc:dataproc.logging.stackdriver.enable
成为 false
更多信息位于:https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/cluster-properties
如果您通过控制台创建集群,您可以引用 https://cloud.google.com/sdk/gcloud/reference/dataproc/clusters/create#--properties 并使用如下命令:
gcloud.cmd --properties 'dataproc:dataproc.logging.stackdriver.enable=false'