找不到火花驱动程序

spark driver not found

我正在尝试使用 spark 将数据帧写入 sql 服务器。我正在使用 dataframewriter 的写入方法写入 sql 服务器。 使用 DriverManager.getConnection 我能够获得 sql 服务器的连接并且能够写入但是当使用 jdbc 方法并传递 uri 时我得到 "No suitable driver found"。 我已经在 spark-shell 的 --jars 中传递了 jtds jar。 星火版本:1.4

问题是 spark 没有找到驱动程序 jar 文件。所以下载jar放在spark集群所有worker节点的同一个路径下,把这个路径添加到spark-env.sh文件中的SPARK_CLASSPATH 如下

SPARK_CLASSPATH=/home/mysql-connector-java-5.1.6.jar

希望对您有所帮助