使用 windows 身份验证 SQL 服务器 JDBC 与 pyspark

Question

我想问一下如何使用 Windows 身份验证连接 SQL 服务器和 pyspark 库？我可以与 Microsoft SQL Server Management Studio 连接，但当我尝试使用 spark.Here 迄今为止尝试过的代码在 Python 中进行编码时无法连接。

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL basic example") \
    .config("spark.driver.extraClassPath","mssql-jdbc-6.4.0.jre8.jar") \
    .getOrCreate()

mssql_df = spark.read.format("jdbc") \
    .option("url", "jdbc:sqlserver://localhost:1433;databaseName=DATABASE-NAME") \
    .option("dbtable", "database-table-name") \
    .option("user", "Windows-Username") \
    .option("password", "Windows-Pass")\
    .option("driver", 'com.mysql.jdbc.Driver').load()

mssql_df.printSchema()
mssql_df.show()

Answer 1

如图所示 here 您可以设置 integratedSecurity=true 通过 jdbc 和 Windows 身份验证连接到 SQL 服务器。

然后 Spark 配置应该如下所示：

mssql_df = spark.read.format("jdbc") \
    .option("url", "jdbc:sqlserver://localhost:1433;databaseName=DATABASE-NAME;integratedSecurity=true") \
    .option("dbtable", "database-table-name") \
    .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver") \
    .load()

更新：

正如评论中所讨论的那样，用户应该将 sqljdbc_auth.dll 放在 mssql-jdbc-7.4.1.jre12.jar 所在的同一文件夹中，或者只为两个 jar 设置 spark.driver.extraClassPath，用 : 分隔，如下所示：

.config("spark.driver.extraClassPath","/path.to/mssql-jdbc-6.4.0.jre8.jar:/path/to/sqljdbc_auth.dll")

sqljdbc_auth.dll 是 SQL 服务器的 Microsoft JDBC Driver 6.0 的一部分，您可以从 here 下载它。或者，您可以在系统上安装 JDBC 驱动程序并指定存储 dll 的路径。

使用 windows 身份验证 SQL 服务器 JDBC 与 pyspark

Using windows authentication for SQL Server JDBC with pyspark

sql-server

python-3.x

apache-spark

pyspark

windows-authentication