有没有办法从 Mobius 从 hdfs 中的 Parquet 文件读取到 SqlContext？

Question

我知道在 Scala 中，您可以按如下方式读取 parquet 文件：

//Create Spark Context
val sparkConf = new SparkConf().setAppName(appName).setMaster(sparkMaster)
val sc = new SparkContext(sparkConf)
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._

 val pf = 
      sqlContext.read.parquet(hdfsDataUri + "test.parquet")
 pf.registerTempTable("test")

有没有办法使用 Mobius（C# API for Spark）来做到这一点？我只能找到一种读取 CSV 文件的方法。参考：https://github.com/Microsoft/Mobius

Answer 1

C# API for using Parquet in Apache Spark is available in Mobius。以下是您问题中 Apache Spark Scala 代码的 C# 实现：

        var sparkConf = new SparkConf().SetAppName(appName).SetMaster(sparkMaster);
        var sc = new SparkContext(sparkConf);
        var sqlContext = new SqlContext(sc);
        var pf = sqlContext.Read().Parquet(hdfsDataUri + "test.parquet");
        pf.RegisterTempTable("test");

Answer 2

您可以通过 https://github.com/elastacloud/parquet-dotnet

在 .NET 中直接读写 parquet 文件

有没有办法从 Mobius 从 hdfs 中的 Parquet 文件读取到 SqlContext？

Is there a way to read from Parquet files in hdfs into SqlContext from Mobius?

c#

apache-spark

parquet

mobius