SnowFlake 数据仓库：'show tables' & 使用 spark 创建 table
SnowFlake Datawarehouse : 'show tables' & create table using spark
我有 2 个问题w.r.t spark 和 Snowflake 数据仓库。
1) 有什么方法可以 query/create 雪花 table 像 hive/spark（新旧版本的 spark）
val hive_tables=hiveContext.sql("show tables").foreach(println)
2) hiveContext.sql("create table....")
第一个问题是关于了解针对特定角色的特定用户存在哪些 table。我问问题的原因是通过 web ui of snowflake 我可以查询 table 但通过 spark 我无法查询
Exception in thread "main" net.snowflake.client.jdbc.SnowflakeSQLException: SQL compilation error:
Object 'mytable' does not exist.
您应该仔细检查 JDBC 连接设置中的 database/schema/role 之类的内容。如果您没有通过 JDBC 看到 table，其中一个可能是罪魁祸首。
您可以通过 运行 验证当前设置，例如show roles、show schemas 和 show databases 在已建立的 JDBC 连接上。
一般来说，我强烈建议使用 Spark-Snowflake 连接器与 Spark 中的 Snowflake 进行通信。它还为 运行 简单查询提供 Utils.runQuery()，例如 DDL。
我有 2 个问题w.r.t spark 和 Snowflake 数据仓库。
1) 有什么方法可以 query/create 雪花 table 像 hive/spark（新旧版本的 spark）
val hive_tables=hiveContext.sql("show tables").foreach(println)
2) hiveContext.sql("create table....")
第一个问题是关于了解针对特定角色的特定用户存在哪些 table。我问问题的原因是通过 web ui of snowflake 我可以查询 table 但通过 spark 我无法查询
Exception in thread "main" net.snowflake.client.jdbc.SnowflakeSQLException: SQL compilation error:
Object 'mytable' does not exist.
您应该仔细检查 JDBC 连接设置中的 database/schema/role 之类的内容。如果您没有通过 JDBC 看到 table，其中一个可能是罪魁祸首。
您可以通过 运行 验证当前设置，例如show roles、show schemas 和 show databases 在已建立的 JDBC 连接上。
一般来说，我强烈建议使用 Spark-Snowflake 连接器与 Spark 中的 Snowflake 进行通信。它还为 运行 简单查询提供 Utils.runQuery()，例如 DDL。