在 spark 中使用 DEAP（遗传算法库）

Question

是否可以使用 DEAP ( http://deap.readthedocs.io/en/master/) 和 spark 集群来映射适应度评估函数。我想运行一个 GA，但适应度函数相当长，我正计划将它分布在 spark 集群上。

Answer 1

您应该通过您选择的 map 函数查看 Using Multiple Processors section in the DEAP documentation and at this example. They explain how to replace the map function in the DEAP toolbox。

要使用 pyspark 映射适应度评估函数，您可以这样做：

from pyspark import SparkContext

sc = SparkContext(appName="DEAP")

def sparkMap(algorithm, population):
    return sc.parallelize(population).map(algorithm)

toolbox.register("map", sparkMap)

在 spark 中使用 DEAP（遗传算法库）

Using DEAP (genetic algorithm library) with spark

genetic-algorithm

deap

pyspark