Flink 配置以避免每次提交作业时都上传外部 jar

Question

Flink 有没有像 spark-submit 中的 spark.yarn.archive 这样避免每次提交作业都上传外部 jar 的配置？

我知道处理外部 jar 的方法，例如中的答案。比如fat jar，Copying jars to $FLINK/lib，-yt配置，但是不够灵活方便。

Answer 1

我注意到 Flink 有一个问题 FLINK-13938 来解决这个问题，并且改进已合并到最近的 1.11.0 版本中。

最后的提交命令可以像下面这样发出。

./bin/flink run -m yarn-cluster -d \
-yD yarn.provided.lib.dirs=hdfs://myhdfs/flink/lib,hdfs://myhdfs/flink/plugins \
examples/streaming/WindowJoin.jar

Flink 配置以避免每次提交作业时都上传外部 jar

Flink configurations to avoid uploading extenal jars every time submit job

hadoop-yarn

apache-flink

flink-streaming