当运行 spark mllib kmeans时,每个阶段在网站上的作用是什么?
when running spark mllib kmeans, What is the role of each stage on website?
我尝试使用 spark mllib kmeans,但作业挂在舞台上 "collectAsMap at KMeans.scala:302"。我的代码是由 python 编写的。
有人可以告诉我每个阶段发生了什么,例如 "collect at KMeans.scala:436"、"aggregate at KMeans.scala:404"、"collectAsMap at KMeans.scala:302"
here is the jobs picture
K-means 是一种迭代算法,其中在每次迭代中将点分配给最近的质心,并根据分配的点更新质心。重复此过程,直到满足某些质量指标。使用多种可能的方法之一计算初始质心,包括随机质心和 K-means||。
在 Spark 中,每次迭代都包含计算新质心的聚合和 collectAsMap
数据被提取到驱动程序并广播以用于下一次迭代。
第二部分对应使用K-means的并行初始化||
我尝试使用 spark mllib kmeans,但作业挂在舞台上 "collectAsMap at KMeans.scala:302"。我的代码是由 python 编写的。 有人可以告诉我每个阶段发生了什么,例如 "collect at KMeans.scala:436"、"aggregate at KMeans.scala:404"、"collectAsMap at KMeans.scala:302" here is the jobs picture
K-means 是一种迭代算法,其中在每次迭代中将点分配给最近的质心,并根据分配的点更新质心。重复此过程,直到满足某些质量指标。使用多种可能的方法之一计算初始质心,包括随机质心和 K-means||。
在 Spark 中,每次迭代都包含计算新质心的聚合和 collectAsMap
数据被提取到驱动程序并广播以用于下一次迭代。
第二部分对应使用K-means的并行初始化||