如何为数据流工作者使用 stackdriver?
How to use stackdriver for dataflow workers?
的一些跟进,以便能够监控工作人员的数据流池。
目标是让 dataflow 派生的工作人员使用已经安装了 stackdriver 的图像并直接向
stackdriver console
- 创建 ubuntu 安装了驱动程序的映像
- 已注册驱动程序 API 基本映像的密钥
- 通过
options.setDiskSourceImage(...)
为数据流工作者使用图像
尽管上面执行的步骤 none 实例的 none 显示在我的 stackdriver 控制台中。有什么想法吗?
建议的解决方案行不通。如果您想在 VM 上启动 stackdriver 代理(或与此相关的任何代理),您可以通过两种方式执行此操作。
- 在项目级别,使用启动脚本元数据变量 运行 启动时所有 VM 上的脚本。
- 配置此脚本以安装和配置堆栈驱动程序代理
- 如果您不想在所有虚拟机上运行此脚本,您需要
- 覆盖您不想 运行 脚本或
的 VM 上的启动脚本元数据变量
- 将启动脚本配置为在非 Dataflow VM 上不执行任何操作。
- 创建一个进程(与您的 Dataflow 作业分开),该进程通过 ssh 进入每个 Dataflow VM 并安装并运行s 代理。
免责声明 我建议不要实施任何一种解决方案,除非您有强烈而迫切的需求。这两种解决方案都依赖于 Dataflow 当前的内部运作方式,不属于任何外部合同。因此,如果 Dataflow 的实现发生变化,这两种解决方案都可能在没有警告的情况下中断。
将自定义磁盘映像与 Dataflow 结合使用不是一个可行的选择。标志 diskSourceImage 已弃用,将在未来的 SDK 版本中删除。它不再受支持的原因是 Dataflow 服务依赖于 VM 映像中的版本化资源。因此 Dataflow 需要控制 VM 映像,以便我们可以根据需要对其进行升级。如果用户提供他们自己的自定义图像,我们无法使它们与 Dataflow 服务的要求保持同步。
目标是让 dataflow 派生的工作人员使用已经安装了 stackdriver 的图像并直接向 stackdriver console
- 创建 ubuntu 安装了驱动程序的映像
- 已注册驱动程序 API 基本映像的密钥
- 通过
options.setDiskSourceImage(...)
为数据流工作者使用图像
尽管上面执行的步骤 none 实例的 none 显示在我的 stackdriver 控制台中。有什么想法吗?
建议的解决方案行不通。如果您想在 VM 上启动 stackdriver 代理(或与此相关的任何代理),您可以通过两种方式执行此操作。
- 在项目级别,使用启动脚本元数据变量 运行 启动时所有 VM 上的脚本。
- 配置此脚本以安装和配置堆栈驱动程序代理
- 如果您不想在所有虚拟机上运行此脚本,您需要
- 覆盖您不想 运行 脚本或 的 VM 上的启动脚本元数据变量
- 将启动脚本配置为在非 Dataflow VM 上不执行任何操作。
- 创建一个进程(与您的 Dataflow 作业分开),该进程通过 ssh 进入每个 Dataflow VM 并安装并运行s 代理。
免责声明 我建议不要实施任何一种解决方案,除非您有强烈而迫切的需求。这两种解决方案都依赖于 Dataflow 当前的内部运作方式,不属于任何外部合同。因此,如果 Dataflow 的实现发生变化,这两种解决方案都可能在没有警告的情况下中断。
将自定义磁盘映像与 Dataflow 结合使用不是一个可行的选择。标志 diskSourceImage 已弃用,将在未来的 SDK 版本中删除。它不再受支持的原因是 Dataflow 服务依赖于 VM 映像中的版本化资源。因此 Dataflow 需要控制 VM 映像,以便我们可以根据需要对其进行升级。如果用户提供他们自己的自定义图像,我们无法使它们与 Dataflow 服务的要求保持同步。