在 Flink 的 Job Manager 中可以 运行 一个简单的工作吗？

Question

我写了一个 Flink 作业，它从 Kafka 读取数据并以 ORC 格式写入 HIVE 的 hdfs 文件（使用 20 个执行程序）。我需要 运行 一个简单的工作，每小时将分区插入 HIVE table。是否可以在作业管理器中 运行 这个简单的分区添加作业？

Answer 1

作业管理器仅扮演 coordinating/supervisory 角色。您必须至少有一个任务管理器。

但是，您可以对 运行 做一个简单的工作，就是使用 运行 与 client/application 完全位于同一 JVM 中的“迷你集群”。您想要的是 LocalStreamEnvironment，由

创建

final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();

或 LocalEnvironment，如果您使用的是数据集（批处理）API：

ExecutionEnvironment env = ExecutionEnvironment.createLocalEnvironment();