typesafe 加入 3.x 的 spark
typesafe joins in spark for 3.x
旧版本的 Spark 3.x
import org.apache.calcite.sql.JoinType
方解石暴露了。
这意味着 JOIN 不仅可以通过馈送以强类型的方式对数据帧执行(注意我不是指数据集):JoinType.LEFT.name
.
方解石不再暴露 3.x。
因此,目前需要回退到字符串类型的连接类型(我认为这是一件坏事)。
我忽略的另一个 class 是否有类似的可能性(实际上是暴露的)?
我有点不愿意在我的用户代码中手动添加方解石,因为这可能会导致冲突 classes(但这将是一个可行的选择)。
import org.apache.hadoop.hive.ql.parse.JoinType
似乎可以解决问题
旧版本的 Spark 3.x
import org.apache.calcite.sql.JoinType
方解石暴露了。
这意味着 JOIN 不仅可以通过馈送以强类型的方式对数据帧执行(注意我不是指数据集):JoinType.LEFT.name
.
方解石不再暴露 3.x。
因此,目前需要回退到字符串类型的连接类型(我认为这是一件坏事)。 我忽略的另一个 class 是否有类似的可能性(实际上是暴露的)? 我有点不愿意在我的用户代码中手动添加方解石,因为这可能会导致冲突 classes(但这将是一个可行的选择)。
import org.apache.hadoop.hive.ql.parse.JoinType
似乎可以解决问题