SPARK_SUBMIT_OPTIONS 中的 CPS 是什么?
What is CPS in SPARK_SUBMIT_OPTIONS?
在 AWS EMR /etc/zeppelin/conf/zeppelin-env.sh
中,它有这个
export SPARK_SUBMIT_OPTIONS="$SPARK_SUBMIT_OPTIONS \
--conf 'spark.executorEnv.PYTHONPATH=/usr/lib/spark/python/lib/py4j-src.zip:/usr/lib/spark/python/:<CPS>{{PWD}}/pyspark.zip<CPS>{{PWD}}/py4j-src.zip' \
--conf spark.yarn.isPython=true"
spark.executorEnv.PYTHONPATH
中的 <CPS>
是什么?
CPS = "classpath separator"(例如,Linux 上的“:”和 Windows 上的“;”)
参考 https://issues.apache.org/jira/browse/YARN-6554。
您看到的这个设置混合了 和“:”,这有点奇怪。真的,它可能应该使用 代替所有的 ':' 以独立于平台。但是,由于 EMR 仅支持 运行 在 AmazonLinux 上,因此它不需要独立于平台。
在 AWS EMR /etc/zeppelin/conf/zeppelin-env.sh
中,它有这个
export SPARK_SUBMIT_OPTIONS="$SPARK_SUBMIT_OPTIONS \
--conf 'spark.executorEnv.PYTHONPATH=/usr/lib/spark/python/lib/py4j-src.zip:/usr/lib/spark/python/:<CPS>{{PWD}}/pyspark.zip<CPS>{{PWD}}/py4j-src.zip' \
--conf spark.yarn.isPython=true"
spark.executorEnv.PYTHONPATH
中的 <CPS>
是什么?
CPS = "classpath separator"(例如,Linux 上的“:”和 Windows 上的“;”)
参考 https://issues.apache.org/jira/browse/YARN-6554。
您看到的这个设置混合了