配置单元的加载时间

Question

我是新手。如何改善 5GB 数据的配置单元加载时间？使用多节点集群处理 hive 中的 5GB 数据通常需要多长时间？我正在使用单节点集群。请帮忙

Answer 1

我假设 "load time for Hive" 你的意思是你有本地数据要加载到 Hive table？我怀疑这个过程在多节点集群中会比在单节点设置中慢。这是因为数据可能会转移到多节点集群中的不同节点。

如果您确实需要在多节点环境中加快速度，您始终可以拆分输入数据，将每个子集放在不同的本地节点上，然后将每个分区同时加载到 HDFS 暂存区。然后 hdfs dfs -mv 命令可以非常快速地将数据移动到 Hive 仓库中。