哪个罐子有 org.apache.spark.sql.types？

Question

我正在使用 Spark 1.x，并尝试读取 csv 文件。如果我需要根据 documentation 指定一些数据类型，我需要导入包中定义的类型 org.apache.spark.sql.types.

import org.apache.spark.sql.types.{StructType,StructField,StringType};

当我在 spark-shell 中以交互方式使用它时，它工作正常，但由于我想 运行 通过 spark-submit，我编写了一些 Scala 代码来执行此操作。但是，当我尝试编译我的 Scala 代码时，它给了我一个错误，说它找不到 org.apache.spark.sql.types。我查看了 spark-sql 的 jar 内容，但找不到其中定义的这些类型。

那么，哪个 jar 有 org.apache.spark.sql.types？

Answer 1

我查看了 GitHub 中的 source code for spark-sql，发现这些类型可以在 spark-catalyst jar 中找到。这似乎不直观。

此外，由于 StructType 有此代码

org.json4s.JsonDSL._

我们最终得到了另一个依赖的 jar - json4s-core。