如何在 Databricks 中使用 Pyodbc 连接到 SQL 服务器？

Question

我正在尝试连接到本地 SQL 服务器中的数据库，但我收到了这个我不太明白的错误。显然，当我运行在数据块中使用它时，它找不到我指定的驱动程序。

Answer 1

像这样尝试。

from pyspark.sql.session import SparkSession
spark = SparkSession \ 
    .builder \ 
    .config("spark.driver.extraClassPath","mssql-jdbc-6.4.0.jre8.jar") \
    .appName("Python Spark Data Source Example") \ 
    .getOrCreate()

dbDF = spark.read.format("jdbc") \
    .option("url","jdbc:sqlserver://your_server_name.database.windows.net:1433;databaseName=your_database_name") \ 
    .option("dbtable","dbo.ml_securitymastersample") \ 
    .option("user","your_user_name") \ 
    .option("nullValue", ["","N.A.","NULL"]) \ 
    .option("password","your_password").load()


# display the dimensions of a Spark DataFrame
def shape(df):
    print("Shape: ", df.count(), ",", len(df.columns))

# check % of missing values across all columns
dbDf.select([count(when(col(c).isNull), c)).alias(c) for c in dbDf.columns]).show()

这对你有用吗？

如何在 Databricks 中使用 Pyodbc 连接到 SQL 服务器？

How to connect to SQL Server using Pyodbc in Databricks?

sql-server

pyodbc

databricks