HBase 上的 GeoMesa 导入速度更快
GeoMesa on HBase faster import
我在 HBase v1.2.6 上使用 GeoMesa v1.4.0。
目前我正在 HBaseQuickStart class 的帮助下导入和索引我的数据。不幸的是，大文件的运行时间很长。
有人知道使用 GeoMesa 的 bulkLoad 可以加快我的进程吗？
提前致谢！
开箱即用，GeoMesa 通过二进制分发命令行工具提供摄取。您必须定义一个 'converter' 文件，其中包含从输入文件到简单要素类型的映射。一旦你有了它，你就可以在本地使用多线程 运行，或者使用远程 map/reduce。 Accumulo 命令的文档是 here, the HBase command will work the same but have slightly different parameters. The documentation on installing the HBase tools is here.
如果您想保留 Java 摄取代码，则需要进行一些自定义操作。有一个写 map-reduce 摄取的例子 here.
我在 HBase v1.2.6 上使用 GeoMesa v1.4.0。 目前我正在 HBaseQuickStart class 的帮助下导入和索引我的数据。不幸的是，大文件的运行时间很长。 有人知道使用 GeoMesa 的 bulkLoad 可以加快我的进程吗？ 提前致谢！
开箱即用，GeoMesa 通过二进制分发命令行工具提供摄取。您必须定义一个 'converter' 文件，其中包含从输入文件到简单要素类型的映射。一旦你有了它，你就可以在本地使用多线程 运行，或者使用远程 map/reduce。 Accumulo 命令的文档是 here, the HBase command will work the same but have slightly different parameters. The documentation on installing the HBase tools is here.
如果您想保留 Java 摄取代码，则需要进行一些自定义操作。有一个写 map-reduce 摄取的例子 here.