Apache Beam Pipeline 可以用于批量编排吗？
Can Apache Beam Pipeline be used for batch orchestration?
我是 apache beam 环境的新手。
正在尝试为批量编排安装 Apache Beam 管道。
我对batch的定义如下
批处理==>一组作业，
工作==>可以有一个或多个子工作。
jobs/sub-jobs.
之间可以有依赖关系
apache beam 管道可以映射到我的自定义批次吗？？
我相信Composer might be more suited for what you're trying to make. From there, you can launch Dataflow jobs from your environment using Airflow operators (for example, in case you're using Python, you can use the DataflowCreatePythonJobOperator).
Apache Beam 统一用于开发批处理和流管道，可以在 Dataflow 上 运行。您可以使用 Dataflow 创建和部署流水线。 Beam Pipelines 是便携式的，因此您可以根据需要使用任何可用的 运行ners。
Cloud Composer 可根据您的要求用于批量编排。 Cloud Composer 基于 Apache Airflow 构建。 Apache Beam 和 Apache Airflow 可以一起使用，因为 Apache Airflow 可以用来触发 Beam 作业。由于您有自定义作业 运行ning，您可以为批处理配置光束和气流。
Airflow 旨在执行编排和管道依赖管理，而 Beam 用于构建执行数据处理系统的数据管道。
我是 apache beam 环境的新手。 正在尝试为批量编排安装 Apache Beam 管道。
我对batch的定义如下
批处理==>一组作业，
工作==>可以有一个或多个子工作。
jobs/sub-jobs.
之间可以有依赖关系apache beam 管道可以映射到我的自定义批次吗？？
我相信Composer might be more suited for what you're trying to make. From there, you can launch Dataflow jobs from your environment using Airflow operators (for example, in case you're using Python, you can use the DataflowCreatePythonJobOperator).
Apache Beam 统一用于开发批处理和流管道，可以在 Dataflow 上 运行。您可以使用 Dataflow 创建和部署流水线。 Beam Pipelines 是便携式的，因此您可以根据需要使用任何可用的 运行ners。
Cloud Composer 可根据您的要求用于批量编排。 Cloud Composer 基于 Apache Airflow 构建。 Apache Beam 和 Apache Airflow 可以一起使用，因为 Apache Airflow 可以用来触发 Beam 作业。由于您有自定义作业 运行ning，您可以为批处理配置光束和气流。
Airflow 旨在执行编排和管道依赖管理，而 Beam 用于构建执行数据处理系统的数据管道。