从 Google Cloud Composer 连接到 Oracle Cloud Infrastructure 上的专用网络

Connecting to a private network on Oracle Cloud Infrastructure from Google Cloud Composer

我正在使用 Google Cloud Composer 通过 运行 一些具有依赖性的脚本来安排工作流程。

这些脚本(bash 和 python 脚本)位于私有网络中托管在 Oracle 云基础设施上的虚拟机中。脚本连接到另一个 SFTP 位置以检索文件然后处理它们。

如何连接到具有这些脚本的专用网络内的虚拟机并从 Cloud Composer 执行它们。

我在想也许 bash 脚本的 SSHExecuteOperator 但对于 python 脚本,PythonOperator?但是我如何连接到专用网络,使用 vpn 功能或在 UI 中创建连接并使用无密码的 SSH?

您必须使用 SSH 操作员:

  • 登录虚拟机
  • 执行您想要的代码(Bash、Python、...)
  • 继续下一步

Python运算符将执行本地 Python 代码,而不是远程。

关于私有连接,您必须将 Composer VPC 连接到外部网络。您可以根据需要的可靠性级别和所需的带宽使用 VPN 或互连。

建立连接后,考虑正确打开防火墙规则和路由(2种方式!我经常忘记打开路由回来!)。然后你只需要到达你的 VM 的私有 IP 就可以连接它(小心,如​​果 IP 范围重叠,你可能需要转换它)。