Apache drill 并行查询是顺序完成的

Apache drill parallel query is done sequentially

我在本地文件系统中测试了 apache drill。 我使用 rest api 来查询一些 parquet 文件。当我 运行 一个休息查询时,我无法执行另一个查询,它会等到第一个查询完成。我想要两个查询使用 cpu 的一半。但似乎多个查询正在按顺序完成。

这是回归,存在于 1.13 和 1.14 版本中: https://issues.apache.org/jira/browse/DRILL-6693

暂时解决。修复在 master 分支中,将成为即将发布的 Drill 1.15 版本的一部分。

在 UI 中的 apache drill 选项下,检查以下选项:

exec.queue.enable
exec.queue.large
exec.queue.small

描述:

exec.queue.enable: Changes the state of query queues. False allows unlimited concurrent queries.
exec.queue.large: Sets the number of large queries that can run concurrently in the cluster. Range: 0-1000
exec.queue.small: Sets the number of small queries that can run concurrently in the cluster. Range: 0-1001

这也取决于查询的复杂性,如果查询有连接,它会在互联网上将其视为多个查询,exec.queue.large 应该更高。