用于嵌套循环的 pyspark 程序

Question

我是 PySpark 的新手，我想了解如何在 PySpark 中编写多个嵌套 for 循环，下面是粗略的高级示例。任何帮助将不胜感激。

for ( i=0;i<10;i++)
   for ( j=0;j<10;j++)
       for ( k=0;k<10;k++)
          { 
           print "i"."j"."k"
}

Answer 1

在非分布式设置中，for 循环使用 foreach 组合器重写，但由于 Spark 的特性，map 和 flatMap 是更好的选择：

from __future__ import print_function
a_loop = lambda x: ((x, y) for y in xrange(10))
print_me = lambda ((x, y), z): print("{0}.{1}.{2}".format(x, y, z)))

(sc.
    parallelize(xrange(10)).
    flatMap(a_loop).
    flatMap(a_loop).
    foreach(print_me)

使用itertools.product：

from itertools import product
sc.parallelize(product(xrange(10), repeat=3)).foreach(print)

用于嵌套循环的 pyspark 程序

pyspark program for nested loop

python

for-loop

apache-spark

rdd

pyspark