typesafe 加入 3.x 的 spark

typesafe joins in spark for 3.x

旧版本的 Spark 3.x

import org.apache.calcite.sql.JoinType

方解石暴露了。 这意味着 JOIN 不仅可以通过馈送以强类型的方式对数据帧执行(注意我不是指数据集):JoinType.LEFT.name.

方解石不再暴露 3.x。

因此,目前需要回退到字符串类型的连接类型(我认为这是一件坏事)。 我忽略的另一个 class 是否有类似的可能性(实际上是暴露的)? 我有点不愿意在我的用户代码中手动添加方解石,因为这可能会导致冲突 classes(但这将是一个可行的选择)。

import org.apache.hadoop.hive.ql.parse.JoinType 

似乎可以解决问题