阿帕奇钻配置

Question

我需要为 Apache Drill（基本上是 PSV）添加存储插件，但我找不到可以添加以下行的配置文件：-

 "formats": {
   "psv": {
     "type": "text",
     "extensions": [
       "tbl"
     ],
     "delimiter": "|"
   }
}

请注意，当前在网络浏览器中打开本地主机 url 的解决方案不可行。我不想将端口和 IP 暴露给 Internet。目前我使用双跳 ssh 来访问我的托管 drill

的服务器

Answer 1

您可以post到 Drill 的 REST API:

curl -X POST -H “Content-Type: application/json” -d ‘{ “name”:dfs, “config” {“type”: “file”, "connection": "hdfs:///", “enabled”: true, "workspaces": {"root": {"location": "/", "writable": false, "defaultInputFormat": null}}, "formats": { "psv": { "type": "text", "extensions": [ "tbl" ], "delimiter": "|" }}}’ http://localhost:8047/storage/dfs.json

您还可以创建一个 bootstrap-storage-plugins.json 文件并在启动 Drill 时将其包含在类路径中，并且应该在 Drill 启动时加载它。

Answer 2

您也可以使用 Drill UI。一旦 Drill 启动，Drill UI 就可以在端口 8047（默认）上使用。进入 UI 后，单击“存储”，您可以看到所有已启用和已禁用的存储插件，您可以从此处 add/create 添加其他存储插件。

阿帕奇钻配置

Apache Drill configuration

hadoop

apache-drill