将 Files/URIs 并行加载到 greenplum 中的外部 table
Parallel loading of Files/URIs to external table in greenplum
如果我在 greenplum 数据库中为 CREATE EXTERNAL TABLE
中的 LOCATION
指定多个 URI,它会并行加载文件吗?还是加载整个文件与将文件拆分为多个文件并加载它们没有区别?
Official Doc
文件按命令顺序加载。
如果指定多个文件,eg: gpfdist://data/file_*
然后所有这些文件将按顺序加载,同时由所有段加载。
您可以通过将文件拆分到多个 gpfdist 实例来实现更快的并发加载。
例如:
gpfdist://data/file_part_1*
gpfdist://data/file_part_2*
有关视频示例,请参见:
https://youtu.be/QqzUhTgWPZg?t=4m48s
多个 gpfdist 实例将 load/unload 数据以并行方式定义在指定位置。那才是真正使用greenplum db
如果我在 greenplum 数据库中为 CREATE EXTERNAL TABLE
中的 LOCATION
指定多个 URI,它会并行加载文件吗?还是加载整个文件与将文件拆分为多个文件并加载它们没有区别?
Official Doc
文件按命令顺序加载。 如果指定多个文件,eg: gpfdist://data/file_*
然后所有这些文件将按顺序加载,同时由所有段加载。
您可以通过将文件拆分到多个 gpfdist 实例来实现更快的并发加载。
例如: gpfdist://data/file_part_1* gpfdist://data/file_part_2*
有关视频示例,请参见: https://youtu.be/QqzUhTgWPZg?t=4m48s
多个 gpfdist 实例将 load/unload 数据以并行方式定义在指定位置。那才是真正使用greenplum db