K-Means 的 Apache flink 快速入门 "Analyze the Result" 错误
Apache flink Quick Start "Analyze the Result" error for K-Means
我通过以下方式关注了 Apache-flink 的实现:quick_start
我无法执行最后一项任务,即 'Analyze the Result',因为 kmeans 文件夹中没有结果文件。
如果您查看上面的 flink JobManager 屏幕截图,您可以看到 KMeans 示例的状态为 FAILED。并且可能由于这种失败状态,kmeans 文件夹中没有结果文件。
现在单击 KMeans 示例,我得到以下可视化效果:
以下为异常截图:
你能指导我我做错了什么吗?
问题是集群已经用一个只有一个插槽的 TaskManager
启动,你想同时执行 KMeans
作业,并行度为 4 .
为了运行并行度为 4 的作业,您必须增加集群的 TaskManager 数量或每个 TaskManager 上的插槽数量。后者可以在 Flink 配置中设置 flink-conf.yaml
和 taskmanager.numberOfTaskSlots: 4
。对于前者,可以修改conf/slaves
文件,为额外的TaskManager添加新机器。
或者,您可以将作业的并行度降低到 1。您可以使用命令行选项 -p
控制并行度。例如。 bin/flink run -p 1 -c JobClass job.tar
。
我通过以下方式关注了 Apache-flink 的实现:quick_start
我无法执行最后一项任务,即 'Analyze the Result',因为 kmeans 文件夹中没有结果文件。
如果您查看上面的 flink JobManager 屏幕截图,您可以看到 KMeans 示例的状态为 FAILED。并且可能由于这种失败状态,kmeans 文件夹中没有结果文件。
现在单击 KMeans 示例,我得到以下可视化效果:
以下为异常截图:
你能指导我我做错了什么吗?
问题是集群已经用一个只有一个插槽的 TaskManager
启动,你想同时执行 KMeans
作业,并行度为 4 .
为了运行并行度为 4 的作业,您必须增加集群的 TaskManager 数量或每个 TaskManager 上的插槽数量。后者可以在 Flink 配置中设置 flink-conf.yaml
和 taskmanager.numberOfTaskSlots: 4
。对于前者,可以修改conf/slaves
文件,为额外的TaskManager添加新机器。
或者,您可以将作业的并行度降低到 1。您可以使用命令行选项 -p
控制并行度。例如。 bin/flink run -p 1 -c JobClass job.tar
。