如何设置 Vora Table 分区大小？
How to set Vora Table partition size?
我已将 'partitionSize' 选项设置为多个不同的值，而且无论数量多少，我得到的分区数量似乎都相同。根据文档，应该对应于 HDFS 块大小。有没有我遗漏的东西。
HDFS 块大小 64M
创建 TABLE TABLE_TEST (DEFINITION_INFO)
使用 com.sap.spark.vora
选项 （
表名 "TABLE_TEST",
分区大小 "64",
路径“/load_from_here/combined.csv”，
渴望加载 "true"
)
csv约680M
参数名称有点误导。它不是用于分区表，而是在将数据加载到表时影响加载性能。在较新的版本中，它可能会被重命名以避免这种混淆。
我已将 'partitionSize' 选项设置为多个不同的值，而且无论数量多少，我得到的分区数量似乎都相同。根据文档，应该对应于 HDFS 块大小。有没有我遗漏的东西。
HDFS 块大小 64M
创建 TABLE TABLE_TEST (DEFINITION_INFO) 使用 com.sap.spark.vora 选项 （ 表名 "TABLE_TEST", 分区大小 "64", 路径“/load_from_here/combined.csv”， 渴望加载 "true" )
csv约680M
参数名称有点误导。它不是用于分区表，而是在将数据加载到表时影响加载性能。在较新的版本中，它可能会被重命名以避免这种混淆。