在 Databricks 上安装 GeoMesa

Question

我正在尝试在 Azure Databricks（Databricks 版本 6.6 / Scala 2.11）中安装 GeoMesa - 尝试遵循 this tutorial

我已经按照描述使用 Maven 坐标 org.locationtech.geomesa:geomesa-spark-jts_2.11:2.3.2 在 DataBricks 中安装了 GeoMesa。

但是，当我运行 import org.locationtech.geomesa.spark.GeoMesaSparkKryoRegistrator 它告诉我找不到它时。

本教程中的所有其他导入工作正常：

import org.locationtech.jts.geom._
import org.locationtech.geomesa.spark.jts._

我查看了 Geomesa 的 github，它似乎是正确的位置。

我对 Java / Scala / Jars 不是很熟悉。

不确定还有什么方法可以解决这个问题。

提前感谢您的帮助！

Answer 1

好问题！本教程似乎有一个小错误。 GeoMesaSparkKryoRegistrator 用于管理 Spark 中 SimpleFeatures 的序列化。

本教程似乎没有使用 SimpleFeatures（至少截至 2020 年 8 月）。因此，这种导入可能是不必要的。您应该能够通过跳过该导入和 GeoMesaSparkKryoRegistrator 的注册来取得进展。

导入的模块仅提供在 Spark 中实现基本几何支持所需的空间类型和函数。要在 Spark 中利用 GeoMesa 的数据存储，可以导入一个 GeoMesa database-specific spark-runtime jar。由于这些数据存储使用 GeoTools SimpleFeatures，该 jar 将包含 GeoMesaSparkKryoRegistrator，其使用将类似于该笔记本和 geomesa.org.

上的文档中的内容

在 Databricks 上安装 GeoMesa

Installing GeoMesa on Databricks

scala

maven

databricks

geomesa

azure-databricks