Apache drill 并行查询是顺序完成的
Apache drill parallel query is done sequentially
我在本地文件系统中测试了 apache drill。
我使用 rest api 来查询一些 parquet 文件。当我 运行 一个休息查询时,我无法执行另一个查询,它会等到第一个查询完成。我想要两个查询使用 cpu 的一半。但似乎多个查询正在按顺序完成。
这是回归,存在于 1.13 和 1.14 版本中:
https://issues.apache.org/jira/browse/DRILL-6693
暂时解决。修复在 master 分支中,将成为即将发布的 Drill 1.15 版本的一部分。
在 UI 中的 apache drill 选项下,检查以下选项:
exec.queue.enable
exec.queue.large
exec.queue.small
描述:
exec.queue.enable: Changes the state of query queues. False allows unlimited concurrent queries.
exec.queue.large: Sets the number of large queries that can run concurrently in the cluster. Range: 0-1000
exec.queue.small: Sets the number of small queries that can run concurrently in the cluster. Range: 0-1001
这也取决于查询的复杂性,如果查询有连接,它会在互联网上将其视为多个查询,exec.queue.large
应该更高。
我在本地文件系统中测试了 apache drill。 我使用 rest api 来查询一些 parquet 文件。当我 运行 一个休息查询时,我无法执行另一个查询,它会等到第一个查询完成。我想要两个查询使用 cpu 的一半。但似乎多个查询正在按顺序完成。
这是回归,存在于 1.13 和 1.14 版本中: https://issues.apache.org/jira/browse/DRILL-6693
暂时解决。修复在 master 分支中,将成为即将发布的 Drill 1.15 版本的一部分。
在 UI 中的 apache drill 选项下,检查以下选项:
exec.queue.enable
exec.queue.large
exec.queue.small
描述:
exec.queue.enable: Changes the state of query queues. False allows unlimited concurrent queries.
exec.queue.large: Sets the number of large queries that can run concurrently in the cluster. Range: 0-1000
exec.queue.small: Sets the number of small queries that can run concurrently in the cluster. Range: 0-1001
这也取决于查询的复杂性,如果查询有连接,它会在互联网上将其视为多个查询,exec.queue.large
应该更高。