yarn 上的多个 spark applications 运行 是否会相互影响?

Do multiple spark applications running on yarn have any impact on each other?

yarn 上的多个 spark 作业 运行ning 是否会相互影响? 例如如果一个流媒体工作的流量增加太多,它对第二个工作有什么影响吗?它会减慢速度或产生任何其他后果吗?

我有足够的资源让两个应用程序同时 运行。

是的,他们有。根据您的调度程序的设置方式(静态与动态),它们要么仅共享网络输出(对于随机播放很重要)和磁盘吞吐量(对于随机播放很重要,在本地或 HDFS 上读取数据,在本地或在 HDFS 上写出数据)或者内存和 CPU(如果它处于动态分配状态)。不过,运行 由于网络和磁盘资源未经常使用,因此并行而不是顺序执行的两个作业平均会受益。这主要取决于您的工作中所需的改组数量。