在 zeppelin 0.8 + spark 中读取 csv 文件

Question

我正在尝试使用像这样的 spark 读取 zeppelin note 中的 csv 文件（我还尝试了使用 \ 或 // 的路径的多种语法）：

这是我的代码：

%spark
val button2 = <div class="btn btn-success btn-sm">READ CSV</div>.onClick{() =>
try {
    //val df = spark.read.option("header", "true").csv("C://Users/ut00xzh7/Documents/TEST_CSV_AC_CREATION/ac_lst.csv")
    val df = spark.read.format("com.databricks.spark.csv").option("header", "true").load("C://Users/ut00xzh7/Documents/TEST_CSV_AC_CREATION/ac_lst.csv")
    val res= df.collectAsList()
    AngularModel("result", res)
}

我收到这个错误：

java.io.IOException: No FileSystem for scheme: C

经过一些研究后，我发现我可以使用 %dep 添加库，但我无权这样做，所以我有点被困在这个上面。

Answer 1

您需要将路径指定为 file:///C:/Users/...，在 URI 中强制执行本地文件方案。否则磁盘 C 被视为 URI 的方案（scheme:authority/path

的一般表示

在 zeppelin 0.8 + spark 中读取 csv 文件

Reading csv files in zeppelin 0.8 + spark

csv

apache-spark

apache-zeppelin