如何通过 oozie (hadoop) 作业查找 hadoop 应用程序 运行
How to find hadoop applications ran by oozie (hadoop) job
我们知道 oozie 首先运行一个 hadoop 作业,然后使用该作业运行其他 hadoop 应用程序。所以我想通过 oozie (hadoop) 作业找到那些 hadoop 应用程序的列表(例如 application_231232133)运行。目前没有这样的 api 或命令。
如果您使用的是 Oozie 5.0 或更高版本,那么这些工作的应用程序类型是 "Oozie Launcher",而不是 "MapReduce",因此它们很容易被过滤掉。
您可以使用 Oozie REST API http://oozie.apache.org/docs/4.2.0/WebServicesAPI.html#Job_Information 其中 return externalId 属性用于由 hadoop 应用程序 ID 填充的每个操作。
我们知道 oozie 首先运行一个 hadoop 作业,然后使用该作业运行其他 hadoop 应用程序。所以我想通过 oozie (hadoop) 作业找到那些 hadoop 应用程序的列表(例如 application_231232133)运行。目前没有这样的 api 或命令。
如果您使用的是 Oozie 5.0 或更高版本,那么这些工作的应用程序类型是 "Oozie Launcher",而不是 "MapReduce",因此它们很容易被过滤掉。
您可以使用 Oozie REST API http://oozie.apache.org/docs/4.2.0/WebServicesAPI.html#Job_Information 其中 return externalId 属性用于由 hadoop 应用程序 ID 填充的每个操作。