从 Google Cloud Composer 连接到 Oracle Cloud Infrastructure 上的专用网络
Connecting to a private network on Oracle Cloud Infrastructure from Google Cloud Composer
我正在使用 Google Cloud Composer 通过 运行 一些具有依赖性的脚本来安排工作流程。
这些脚本(bash 和 python 脚本)位于私有网络中托管在 Oracle 云基础设施上的虚拟机中。脚本连接到另一个 SFTP 位置以检索文件然后处理它们。
如何连接到具有这些脚本的专用网络内的虚拟机并从 Cloud Composer 执行它们。
我在想也许 bash 脚本的 SSHExecuteOperator 但对于 python 脚本,PythonOperator?但是我如何连接到专用网络,使用 vpn 功能或在 UI 中创建连接并使用无密码的 SSH?
您必须使用 SSH 操作员:
- 登录虚拟机
- 执行您想要的代码(Bash、Python、...)
- 继续下一步
Python运算符将执行本地 Python 代码,而不是远程。
关于私有连接,您必须将 Composer VPC 连接到外部网络。您可以根据需要的可靠性级别和所需的带宽使用 VPN 或互连。
建立连接后,考虑正确打开防火墙规则和路由(2种方式!我经常忘记打开路由回来!)。然后你只需要到达你的 VM 的私有 IP 就可以连接它(小心,如果 IP 范围重叠,你可能需要转换它)。
我正在使用 Google Cloud Composer 通过 运行 一些具有依赖性的脚本来安排工作流程。
这些脚本(bash 和 python 脚本)位于私有网络中托管在 Oracle 云基础设施上的虚拟机中。脚本连接到另一个 SFTP 位置以检索文件然后处理它们。
如何连接到具有这些脚本的专用网络内的虚拟机并从 Cloud Composer 执行它们。
我在想也许 bash 脚本的 SSHExecuteOperator 但对于 python 脚本,PythonOperator?但是我如何连接到专用网络,使用 vpn 功能或在 UI 中创建连接并使用无密码的 SSH?
您必须使用 SSH 操作员:
- 登录虚拟机
- 执行您想要的代码(Bash、Python、...)
- 继续下一步
Python运算符将执行本地 Python 代码,而不是远程。
关于私有连接,您必须将 Composer VPC 连接到外部网络。您可以根据需要的可靠性级别和所需的带宽使用 VPN 或互连。
建立连接后,考虑正确打开防火墙规则和路由(2种方式!我经常忘记打开路由回来!)。然后你只需要到达你的 VM 的私有 IP 就可以连接它(小心,如果 IP 范围重叠,你可能需要转换它)。