当对 1 个数据帧使用 hivecontext 而对另一个数据帧使用 sqlcontext 时比较 spark 中的 2 个数据帧
Comparing 2 dataframes in spark when using hivecontext for 1 dataframe and sqlcontext for the other
当我使用 HiveContext 将配置单元 table 存储在一个数据帧中,使用 sqlcontext 将 DB2 table 存储在另一个数据帧中时,在查询这两个数据帧时,它在检测配置单元时未检测到 Db2。可以使用的常用sqlcontext是什么?
TL;DR 所有表使用相同的上下文。
如果您需要 Hive 支持,请使用具有 Hive 支持的 HiveContext
或 SparkSession
。不要创建单独的会话来连接到特定的 DataSource
.
当我使用 HiveContext 将配置单元 table 存储在一个数据帧中,使用 sqlcontext 将 DB2 table 存储在另一个数据帧中时,在查询这两个数据帧时,它在检测配置单元时未检测到 Db2。可以使用的常用sqlcontext是什么?
TL;DR 所有表使用相同的上下文。
如果您需要 Hive 支持,请使用具有 Hive 支持的 HiveContext
或 SparkSession
。不要创建单独的会话来连接到特定的 DataSource
.