spark 将 hive 自定义 serde 用于 JSON 但未找到 class

spark use hive custom serde for JSON but class not found

跟随 https://github.com/Esri/gis-tools-for-hadoop/wiki/Aggregating-CSV-Data-%28Spatial-Binning%29 但在 spark 上找不到 serde 的 类。

ClassNotFoundException: Class com.esri.hadoop.hive.serde.JsonSerde not found

我的构建定义如下：https://github.com/geoHeil/spatial-heatmaps/blob/master/esri/build.sbt 并包括：

 "com.esri.hadoop" % "spatial-sdk-hive" % esriVersion,
 "com.esri.hadoop" % "spatial-sdk-json" % esriVersion,

整个项目可以在 GitHub 上找到：https://github.com/geoHeil/spatial-heatmaps/tree/master/esri

应用由 运行 sbt console 执行并粘贴代码（目前）

最好的方法是将 GIS-Tools-for-Hadoop 示例升级到 Spatial-Framework-for-Hadoop v2 和 Esri-Geometry-for-Java v2 - https://github.com/Esri/gis-tools-for-hadoop/issues/66。

替代解决方法是将 Spatial-Framework-for-Hadoop 降级到 v1.2。

[披露：合作者]