如何使这个 SpringML（或其他）Spark SFTP 服务器连接器工作？

Question

我正在尝试构建一个 Spark 作业，它可以连接到 SFTP 服务器并在其中放置一个 csv 文件。我找到的选项是使用与包相关的 SpringML package. However, I keep getting a noSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;. This was once described in an issue。

我不太清楚问题是如何解决的，以及我是否只是犯了一个用户错误。我在 Databricks 上使用最新版本的 SpringML 包 (1.0.3) 并通过“创建库”中的 Databricks Maven 安装它。

我使用的代码如下所示：

// Read sample dataframe from table
val df = sqlContext.sql("SELECT * FROM default.some_test_data")

// Write sample data to a SFTP server
df.write.format("com.springml.spark.sftp").
           option("host", "SFTP_HOST").
           option("username", "SFTP_USER").
           option("password", "password").
           option("fileType", "fileType")
          .save(/some_test_data.csv)

我对任何工作示例都很满意，即使它使用的是另一个开源包。也可以随时指出我想念的地方？

注意：我的Spark版本是3.1.2，Scala 2.12

Answer 1

尚不支持 Spark 3.0 和 Scala 2.12。

如何使这个 SpringML（或其他）Spark SFTP 服务器连接器工作？

How to make this SpringML (or other) Spark SFTP Server connector work?

java

sftp

scala

apache-spark

databricks