AWS 环境中 Informatica BDM 的调度程序
Scheduler for Informatica BDM in AWS environment
我们需要通过使用 sqoop 作业从外部 RDBMS 数据库中提取数据来加载 Amazon S3 存储桶。我已经创建了一个 shell 脚本，其中有 sqoop 作业来执行我提到的任务。在 Amazon S3 存储桶中创建一个对象后，我想触发 Informatica Developer 工作流，该工作流将在执行业务逻辑后执行将数据从一个存储桶加载到另一个存储桶的任务。
我知道，我们可以通过 shell 脚本或通过 Informatica 自己的调度程序本身来调用 Informatica 工作流。我之前使用过 Autosys，我们将 shell 脚本配置为作业，并在完成此 shell 脚本保持依赖关系后触发 Informatica 工作流。
我的问题是，我们是否有任何开源调度程序可用于在 AWS 中配置 Informatica BDM 作业？
谢谢，
维杰
寻找 apache 气流。您可以使用以下link来了解集成。这使用了 informatica 的功能加上 apache 气流调度
Apache Airflow 在 INFA BDM 的情况下很有意义，因为 INDA BDM 作业可以使用 shell 命令触发，这些命令可以使用 Airflow bash 运算符轻松触发，如下所述：
t1 = BashOperator(
task_id='INFA_TASK',
bash_command='./sh infacmd.sh wfs startWorkflow -dn MyDomain -sn MyDataIntSvs -un MyUser -pd MyPassword -a MyApplication -wf MyWorkflow',
dag=dag)
我们需要通过使用 sqoop 作业从外部 RDBMS 数据库中提取数据来加载 Amazon S3 存储桶。我已经创建了一个 shell 脚本，其中有 sqoop 作业来执行我提到的任务。在 Amazon S3 存储桶中创建一个对象后，我想触发 Informatica Developer 工作流，该工作流将在执行业务逻辑后执行将数据从一个存储桶加载到另一个存储桶的任务。
我知道，我们可以通过 shell 脚本或通过 Informatica 自己的调度程序本身来调用 Informatica 工作流。我之前使用过 Autosys，我们将 shell 脚本配置为作业，并在完成此 shell 脚本保持依赖关系后触发 Informatica 工作流。
我的问题是，我们是否有任何开源调度程序可用于在 AWS 中配置 Informatica BDM 作业？
谢谢， 维杰
寻找 apache 气流。您可以使用以下link来了解集成。这使用了 informatica 的功能加上 apache 气流调度
Apache Airflow 在 INFA BDM 的情况下很有意义，因为 INDA BDM 作业可以使用 shell 命令触发，这些命令可以使用 Airflow bash 运算符轻松触发，如下所述：
t1 = BashOperator( task_id='INFA_TASK', bash_command='./sh infacmd.sh wfs startWorkflow -dn MyDomain -sn MyDataIntSvs -un MyUser -pd MyPassword -a MyApplication -wf MyWorkflow', dag=dag)