增加 HIVE 中的最大行大小

Question

我有一个具有这些配置的 pyspark 作业：

self.spark = SparkSession.builder.appName("example") \
.config("hive.exec.dynamic.partition", "true") \
.config("hive.exec.dynamic.partition.mode", "nonstrict") \
.config("hive.exec.max.dynamic.partitions", "5000000") \
.config("hive.exec.max.dynamic.partitions.pernode", "1000000") \
.enableHiveSupport() \
.getOrCreate()

我在任何地方都找不到如何设置配置以将 max row size 增加到 150mb。我只在 impala.

中找到该命令

提前致谢。

Answer 1

Hive 中没有这样的配置，因为 Hive 不是全内存的，可以处理几乎无限大小的行。单个字符串的大小可以达到 2Gb 和，尽管您可能需要（很可能）数千行来适应单个容器内存，但通常映射器或缩减器的大小超过 1G 并且可以增加。

增加 HIVE 中的最大行大小

Increase max row size in HIVE

hive

pyspark

hive-configuration