Apache Drill 数据库和数据局部性

Question

我有两台服务器。第一个服务器 (A) 包含动物园管理员、一个 mongodb 数据库和一个钻头。第二台服务器 (B) 包含一个带有多个 hive 表的 hadoop 分布、一个 postgresql 数据库和另一个 drillbit。两个 drillbits 都可以在 drill 主页上看到彼此，因为它们都连接到服务器 A 上的 zookeeper。当像下面这样的查询是运行（视图 dfs.lineorder 由 hive 和 postgresql 数据组成在服务器 B 上），钻头 B 成为工头并执行所有操作。它没有将处理 mongodb 表的部分委托给服务器 A 上的 drillbit，因此运行查询所需时间的 90%（大约 30 分钟）都花在了发送 mongodb 从服务器 A 到服务器 B 的集合。有没有办法强制 drillbit B 将查询的 mongodb 部分委托给 drillbit B，或者这可能是配置错误问题？此外，是否可以将钻头配置为访问不同的数据库（例如，当每个钻头都可以访问不同的子网时，以便并非所有钻头都可以访问相同的数据库）？

示例查询：

SELECT SUM(revenue) AS revenue
FROM (
    SELECT SUM(lo_extendedprice*lo_discount) AS revenue
    FROM dfs.tmp.lineorder, dfs.tmp.`date`
    WHERE lo_orderdate = d_datekey
    AND d_year = 1993
    AND lo_discount BETWEEN 1 AND 3
    AND lo_quantity < 25
UNION ALL
    SELECT SUM(lo_extendedprice * lo_discount) AS revenue
    FROM mongo.test.ssb_europe ssb
    WHERE ssb.orderdate.d_year = 1993
    AND lo_discount BETWEEN 1 AND 3
    AND lo_quantity < 25
);

配置（钻-override.conf）：

在钻头 A 上（Windows Server 2008）： drill.exec：{ 集群 ID：“drillbits1”， zk.connect: "serverA:2181", 模拟：{ 启用：真， max_chained_user_hops: 3 } }

在钻头 B (Cloudera CDH 5.8.0) 上： drill.exec：{ 集群 ID：“drillbits1”， zk.connect: "serverA:2181", 模拟：{ 启用：真， max_chained_user_hops: 3 } }

Answer 1

看来 MongoDB 存储插件可能是问题所在。如果查询被清楚地分成两个完整的子查询（带分组），优化器会成功地拆分工作。以下查询正确拆分了两个钻头之间的工作。

SELECT SUM(lo_revenue), d_year, p_brand1
FROM (
    SELECT SUM(lo_revenue) AS lo_revenue, d_year, p_brand1
    FROM dfs.tmp.lineorder, dfs.tmp.`date`, dfs.tmp.part, dfs.tmp.supplier
    WHERE lo_orderdate = d_datekey
    AND lo_partkey = p_partkey
    AND lo_suppkey = s_suppkey
    AND p_category = 'MFGR#12'
    AND s_region = 'AMERICA'
    GROUP BY d_year, p_brand1
UNION ALL
    SELECT SUM(TO_NUMBER(lo_revenue, '########.##')) AS lo_revenue, ssb.orderdate.d_year AS d_year, ssb.part.p_brand1 AS p_brand1
    FROM mongo.test.ssb_europe ssb
    WHERE IsNumeric(lo_revenue)
    AND ssb.part.p_category = 'MFGR#12'
    AND ssb.supplier.s_region = 'AMERICA'
    GROUP BY ssb.orderdate.d_year, ssb.part.p_brand1
) l
GROUP BY d_year, p_brand1
ORDER BY d_year, p_brand1;

Apache Drill 数据库和数据局部性

Apache Drill database and data locality

apache-drill

cache-locality