airflow 可以与已编译的 python dag 一起使用吗？

Question

airflow 是否可以识别编译后的 python 代码？我正处于这项研究的开始阶段。如果这不可能，我正在考虑让未编译的 python dag 执行已编译的可执行文件。想法或建议？预先感谢您的分享！

Answer 1

编译的 python 代码 (.pyc) 文件未被 Airflow 调度程序检查。

您需要 python 个文件 (.py)，其中包含 Airflow 的 DAG/task 实例化以将其识别为管道。

声明管道后，您可以利用任何运算符来执行任务。

我相信您会使用 BashOperators，因为它将允许您执行 bash 命令来执行已编译的可执行文件。