GCP Dataproc：创建集群并激活 stackdriver

Question

我使用 GCP 为我的处理实例化了工作流。我想激活 Stackdriver 日志记录以获得更多指标（请参阅 https://cloud.google.com/dataproc/docs/guides/stackdriver-logging）。

根据文档，我应该设置属性:

dataproc:dataproc.logging.stackdriver.job.driver.enable=true

我的工作流模板如下所示：

placement:
  managedCluster:
    clusterName: my-cluster
    config:
      gceClusterConfig:
        zoneUri: europe-west1-d
      masterConfig:
        machineTypeUri: n1-standard-4
      workerConfig:
        machineTypeUri: n1-standard-4
        numInstances: 10

我应该在哪里设置这个属性？

谢谢。

Answer 1

以下应该有效。

由于 API 层次结构是深度嵌套的，您可以使用 gcloud dataproc workflow-templates 接口构建初始模板，describe 命令将为您提供正确的 YAML 或 JSON。然后，您可以使用本地文件中的 instantiate-inline 进行快速迭代。

placement:
  managedCluster:
    clusterName: my-cluster
    config:
      gceClusterConfig:
        zoneUri: europe-west1-d
      masterConfig:
        machineTypeUri: n1-standard-4
      workerConfig:
        machineTypeUri: n1-standard-4
        numInstances: 10
      softwareConfig:
        properties:
          dataproc:dataproc.logging.stackdriver.job.driver.enable: true

GCP Dataproc：创建集群并激活 stackdriver

GCP Dataproc: create cluster with stackdriver activated

google-cloud-platform

google-cloud-dataproc

stackdriver

google-cloud-stackdriver