Spark 2.1.0 Thrift 服务器不显示全局临时表

Question

我是 运行 具有 MySQL 元存储的 Spark 2.1.0 Thrift 服务器。

在我的长 运行 应用程序中，我正在使用 createGlobalTempView 或 createOrReplaceTempView 函数保存数据框，但我无法使用直线

看到它们

当我使用write().saveAsTable()时，没问题，我可以看到直线table。

我的 thrift 服务器和应用程序是同一个 Spark 集群上的 2 个应用程序，我设置了

spark.sql.hive.thriftServer.singleSession=true

Answer 1

对于标准的临时视图是预期的行为。临时表仅在特定的范围内可见 SparkSession.

spark.sql.hive.thriftServer.singleSession 表示到 Thrift 服务器的所有连接都应该使用单个会话，而不是所有应用程序都使用一个全局会话。

要使用 Thrift 服务公开临时表，您已在注册表的相同上下文中启动它。

对于全局临时视图 (2.1+)，您应该使用限定名称（包括数据库名称 spark.sql.globalTempDatabase）来访问视图。