在 Apache Spark Databricks 上的 Scala 笔记本中，如何正确地将数组转换为类型 decimal(30,0)？

Question

我正在尝试将数组转换为 Decimal(30,0) 以便在 select 中动态使用：

WHERE array_contains(myArrayUDF(), someTable.someColumn)

但是当用以下方式投射时：

val arrIds = someData.select("id").withColumn("id", col("id")
                .cast(DecimalType(30, 0))).collect().map(_.getDecimal(0))

Databricks 接受这个和签名，但是看起来已经不对了： intArrSurrIds: Array[java.math.BigDecimal] = Array(2181890000000,...) // 即，一个 BigDecimal

导致以下错误：

SQL 语句中的错误：AnalysisException：无法解析.. 由于数据类型不匹配：函数 array_contains 的输入应该是数组后跟具有相同元素类型的值，但它是 [数组<十进制(38,18)>, 十进制(30,0)]

如何在 Spark Databricks Scala notebook 中正确转换为 decimal(30,0) 而不是 decimal(38,18)？

感谢任何帮助！

Answer 1

您可以使用以下代码将 arrIds 设为 Array[Decimal]：

import org.apache.spark.sql.functions.col
import org.apache.spark.sql.types.{Decimal, DecimalType}

val arrIds = someData.select("id")
  .withColumn("id", col("id").cast(DecimalType(30, 0)))
  .collect()
  .map(row => Decimal(row.getDecimal(0), 30, 0))

但是，它不会解决您的问题，因为一旦您创建了用户定义的函数，您就会失去精度和比例，

要解决您的问题，您需要将列 someTable.someColumn 转换为具有与 UDF 返回类型相同的精度和小数位数的 Decimal。所以你的 WHERE 子句应该是：

WHERE array_contains(myArray(), cast(someTable.someColumn as Decimal(38, 18)))

在 Apache Spark Databricks 上的 Scala 笔记本中，如何正确地将数组转换为类型 decimal(30,0)？

In a Scala notebook on Apache Spark Databricks how do you correctly cast an array to type decimal(30,0)?

scala

apache-spark

apache-spark-sql

databricks

aws-databricks