pyspark 布尔配置问题与大写

Question

可能是一个有点傻的问题，但我不想再试错了...当你在集群中设置 pyspark 配置时，以下 2 个是正确的？ ->

spark.hadoop.validateOutputSpecs: true

或

spark.hadoop.validateOutputSpecs: True

我知道 scala 有小写的布尔值，spark 也有。但是有点困惑，因为 python 的布尔值与 'True/False' 一样，那么 pyspark 是否也具有与第一个字母相同的大写？还是 spark 配置不区分大小写？

谢谢！

Answer 1

Pyspark 的配置也是小写的。我理解你的沮丧，哈哈。如果您查看 pyspark 文档，它们会将其显示为小写。此外，我所有的 pyspark 脚本都使用小写字母进行配置，当我在集群上查看它们时，它们显示为小写字母。

Answer 2

完全取决于你的写作方式。话虽如此，以下两种实现都可以正常工作-

spark.conf.set("spark.hadoop.validateOutputSpecs", True)

spark.conf.set("spark.hadoop.validateOutputSpecs", "true")

pyspark boolean configs issue with capitalization