如何从 iPython 接口中找出 pyspark 的内存量？
How to find out the amount of memory pyspark has from iPython interface?
我使用命令启动
IPYTHON=1 MASTER=local[4] pyspark
Spark 用
向我打招呼
Welcome to spark, version 1.2.1
SparkContext availabel as sc.
但是使用 sc，我无法找到它拥有的内存。如何找到它，如果可能的话如何将它设置为另一个值。
您可以这样查询SparkContext的配置：
sc._conf.get('spark.executor.memory')
或者，如果您对驱动程序的记忆感兴趣：
sc._conf.get('spark.driver.memory')
完整的配置可以通过
查看为元组列表
sc._conf.getAll()
我使用命令启动
IPYTHON=1 MASTER=local[4] pyspark
Spark 用
向我打招呼Welcome to spark, version 1.2.1
SparkContext availabel as sc.
但是使用 sc，我无法找到它拥有的内存。如何找到它，如果可能的话如何将它设置为另一个值。
您可以这样查询SparkContext的配置：
sc._conf.get('spark.executor.memory')
或者，如果您对驱动程序的记忆感兴趣：
sc._conf.get('spark.driver.memory')
完整的配置可以通过
查看为元组列表sc._conf.getAll()