如何为 apache drill 编写自定义存储插件
How to write custom storage plugin for apache drill
我的数据采用适当的格式，None Apache drill 支持的格式。
有没有关于如何编写我自己的存储插件来处理此类数据的教程。
这确实应该包含在文档中，但目前没有。界面并不太复杂，但是查看现有插件之一并了解正在发生的一切可能有点复杂。
编写存储插件有 2 个主要组成部分，向查询计划器和模式管理系统公开信息，然后实际实现从数据源 API 到钻取记录表示的转换。
Kudu 插件是最近添加的，它是具有 Drill 可以利用的大量元素的存储系统的合理模型。我要注意的一件事是，如果您的存储系统不是分布式的，并且您只是计划进行所有远程读取，那么您不必在组扫描中围绕 affinities/work lists/assignments 做太多工作。如果我很快有时间，我会尝试写一个关于界面不同部分的文档，并可能写一个关于现有插件之一的教程。
我的数据采用适当的格式，None Apache drill 支持的格式。 有没有关于如何编写我自己的存储插件来处理此类数据的教程。
这确实应该包含在文档中，但目前没有。界面并不太复杂，但是查看现有插件之一并了解正在发生的一切可能有点复杂。
编写存储插件有 2 个主要组成部分，向查询计划器和模式管理系统公开信息，然后实际实现从数据源 API 到钻取记录表示的转换。
Kudu 插件是最近添加的，它是具有 Drill 可以利用的大量元素的存储系统的合理模型。我要注意的一件事是，如果您的存储系统不是分布式的，并且您只是计划进行所有远程读取，那么您不必在组扫描中围绕 affinities/work lists/assignments 做太多工作。如果我很快有时间，我会尝试写一个关于界面不同部分的文档，并可能写一个关于现有插件之一的教程。