在 spark 中使用 DEAP(遗传算法库)
Using DEAP (genetic algorithm library) with spark
是否可以使用 DEAP ( http://deap.readthedocs.io/en/master/) 和 spark 集群来映射适应度评估函数。我想 运行 一个 GA,但适应度函数相当长,我正计划将它分布在 spark 集群上。
您应该通过您选择的 map 函数查看 Using Multiple Processors section in the DEAP documentation and at this example. They explain how to replace the map function in the DEAP toolbox。
要使用 pyspark 映射适应度评估函数,您可以这样做:
from pyspark import SparkContext
sc = SparkContext(appName="DEAP")
def sparkMap(algorithm, population):
return sc.parallelize(population).map(algorithm)
toolbox.register("map", sparkMap)
是否可以使用 DEAP ( http://deap.readthedocs.io/en/master/) 和 spark 集群来映射适应度评估函数。我想 运行 一个 GA,但适应度函数相当长,我正计划将它分布在 spark 集群上。
您应该通过您选择的 map 函数查看 Using Multiple Processors section in the DEAP documentation and at this example. They explain how to replace the map function in the DEAP toolbox。
要使用 pyspark 映射适应度评估函数,您可以这样做:
from pyspark import SparkContext
sc = SparkContext(appName="DEAP")
def sparkMap(algorithm, population):
return sc.parallelize(population).map(algorithm)
toolbox.register("map", sparkMap)