用于 Kudu 兼容性的 Spark 数据框投射列

Question

（我是 Spark、Impala 和 Kudu 的新手。）我正在尝试将 table 从 Oracle 数据库复制到 Impala table相同的结构，在 Spark 中，通过 Kudu。当代码尝试将 Oracle NUMBER 映射到 Kudu 数据类型时出现错误。如何更改 Spark DataFrame 的数据类型以使其与 Kudu 兼容？

这是从 Oracle 到 Impala 的一对一数据副本。我提取了源 table 的 Oracle 模式并创建了具有相同结构（相同的列名和合理的数据类型映射）的目标 Impala table。我希望 Spark+Kudu 会自动映射所有内容并只复制数据。相反，Kudu 抱怨它无法映射 DecimalType(38,0).

我想指定"column #1, with name SOME_COL, which is a NUMBER in Oracle, should be mapped to a LongType, which is supported in Kudu"。

我该怎么做？

// This works
val df: DataFrame = spark.read
  .option("fetchsize", 10000)
  .option("driver", "oracle.jdbc.driver.OracleDriver")
  .jdbc("jdbc:oracle:thin:@(DESCRIPTION=...)", "SCHEMA.TABLE_NAME", partitions, props)

// This does not work  
kuduContext.insertRows(df.toDF(colNamesLower: _*), "impala::schema.table_name")
// Error: No support for Spark SQL type DecimalType(38,0)
// See https://github.com/cloudera/kudu/blob/master/java/kudu-spark/src/main/scala/org/apache/kudu/spark/kudu/SparkUtil.scala

// So let's see the Spark data types
df.dtypes.foreach{case (colName, colType) => println(s"$colName: $colType")}
// Spark  data type: SOME_COL DecimalType(38,0)
// Oracle data type: SOME_COL NUMBER -- no precision specifier; values are int/long
// Kudu   data type: SOME_COL BIGINT

Answer 1

显然，我们可以 specify a custom schema 从 JDBC 数据源读取数据。

connectionProperties.put("customSchema", "id DECIMAL(38, 0), name STRING")
val jdbcDF3 = spark.read
  .jdbc("jdbc:postgresql:dbserver", "schema.tablename", connectionProperties)

成功了。我能够像这样指定 customSchema：

col1 Long, col2 Timestamp, col3 Double, col4 String

这样，代码就可以工作了：

import spark.implicits._
val df: Dataset[case_class_for_table] = spark.read
  .option("fetchsize", 10000)
  .option("driver", "oracle.jdbc.driver.OracleDriver")
  .jdbc("jdbc:oracle:thin:@(DESCRIPTION=...)", "SCHEMA.TABLE_NAME", partitions, props)
  .as[case_class_for_table]
kuduContext.insertRows(df.toDF(colNamesLower: _*), "impala::schema.table_name")

用于 Kudu 兼容性的 Spark 数据框投射列

Spark dataframe cast column for Kudu compatibility

scala

apache-spark

impala

apache-kudu