如何通过文件路径将 databricks SQL notebook 连接到 parquet 文件

Question

我正在尝试连接到包含我们的数据 tables 的镶木地板文件列表，我需要检索它们以在数据块笔记本中创建一个新的 table以下字段：

字段名称
数据类型
Table 姓名

我只需要知道在数据块笔记本中通过 sql 连接到这些 parquet 文件的语法，以及设置这些字段以显示数据的任何帮助，就像从 SSMS 中的 information_schema 中提取一样.谢谢

Answer 1

以下语法将帮助您使用给定的 parquet 文件路径创建 table：

%sql 
CREATE TABLE <Table_Name>
USING parquet
OPTIONS (path "</path/to/Parquet>")

用您的值更改 <Table_Name> 和 </path/to/Parquet>。

您可以使用SELECT语句读取数据：

SELECT * FROM <Table_Name>

Apache Spark 还使我们能够轻松地将 Parquet 文件读写到 Azure SQL 数据库。

df.write
  .mode("overwrite")
  .format("jdbc")
  .option("url", f"jdbc:sqlserver://{servername}.database.windows.net;databaseName={databasename};")
  .option("dbtable", "{tablename}")
  .option("user", {localusername})
  .option("password", {localpassword})
  .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver")
  .option("customSchema", "sqlschemadetails")
  .save()

我们必须指定 JDBC 连接字符串，包括 SQL 用户名和密码以及架构名称。

有用link：https://www.c-sharpcorner.com/article/ingest-data-to-azure-sql-database-using-azure-databricks/

您只需使用服务器名称、用户和密码即可在 SSMS 上打开 Azure SQL 服务器数据库，如下所示。

如何通过文件路径将 databricks SQL notebook 连接到 parquet 文件

How to connect databricks SQL notebook to a parquet file via filepath

ssms

parquet

databricks

azure-databricks