Zeppelin 和 Spark 中的 VORA 表 shell

Question

我们已经从 spark shell 和 Zepellin 创建了测试 table。但是当我们在单个 table 上显示 tables 时，在各自的环境中是可见的。通过 spark shell 创建的 Table 未显示在 Zepellin show table 命令中。这两个 table 有什么区别？谁能解释一下。

Answer 1

show tables 命令仅显示当前会话中定义的 table。

A table 在当前会话中创建，也在 Zookeeper 的（持久）目录中创建。您可以通过以下命令显示 Vora 在 Zookeeper 中保存的所有 tables：

SHOW DATASOURCETABLES 
    USING com.sap.spark.vora 
    OPTIONS(zkurls "<zookeeper_server>:2181")

您还可以通过此命令在当前会话中注册全部或单个 tables：

REGISTER ALL TABLES 
    USING com.sap.spark.vora 
    OPTIONS(zkurls "<zookeeper_server>:2181")  
REGISTER TABLE <tablename> 
    USING com.sap.spark.vora 
    OPTIONS(zkurls "<zookeeper_server>:2181")

因此，如果您想从 Zookeeper 访问您在 Spark Shell 中创建的 table，反之亦然，您需要先注册它。

如果需要清除 Zookeeper 目录，可以使用这些命令。请注意，需要重新创建 tables：

import com.sap.spark.vora.client._
ClusterUtils.clearZooKeeperCatalog("<zookeeper_server>:2181")

此（以及更多）信息可在 Vora Installation and Developer Guide

中找到

Zeppelin 和 Spark 中的 VORA 表 shell

VORA Tables in Zeppelin and Spark shell

vora