Apache spark - 如果你错误地拼写属性会发生什么
Apache spark - what happens if you incorrectly spell properties
我正在修改 Apache spark 中的默认属性。我在 AWS 上使用 EMR 旋转集群。但是，我正在设置属性，不确定如何检查我的新配置是否正在替换默认配置。
举个例子，我想修改Spark中的默认序列化。因此，我在创建集群时提供了以下配置。
"Classification": "spark-defaults",
"Properties"：{
"spark.serializer": "org.apache.spark.serializer:KryoSerializer"
然后当我通过端口 :4040 上的 Spark UK 或通过 YARN 方法检查 spark 属性时，我看到 属性 已设置。但是，目前还不清楚 Spark 是否正在使用这个 属性。有办法检查吗？
我问这个是因为我曾经拼错 "spark.serializer" 但仍然看到 属性 集。我希望看到一个错误抛出，显示我正在尝试设置一个未知的 属性。
正如您已经测试过的，如果您拼错 属性 名称，它会被接受但不会被使用。由于可能的属性列表是开放的，用户可以设置自己的属性，并且可能未使用的错误 属性 不是一个选项。
我正在修改 Apache spark 中的默认属性。我在 AWS 上使用 EMR 旋转集群。但是，我正在设置属性，不确定如何检查我的新配置是否正在替换默认配置。
举个例子，我想修改Spark中的默认序列化。因此，我在创建集群时提供了以下配置。
"Classification": "spark-defaults",
"Properties"：{
"spark.serializer": "org.apache.spark.serializer:KryoSerializer"
然后当我通过端口 :4040 上的 Spark UK 或通过 YARN 方法检查 spark 属性时，我看到 属性 已设置。但是，目前还不清楚 Spark 是否正在使用这个 属性。有办法检查吗？
我问这个是因为我曾经拼错 "spark.serializer" 但仍然看到 属性 集。我希望看到一个错误抛出，显示我正在尝试设置一个未知的 属性。
正如您已经测试过的，如果您拼错 属性 名称，它会被接受但不会被使用。由于可能的属性列表是开放的，用户可以设置自己的属性，并且可能未使用的错误 属性 不是一个选项。