在 GCP 中迁移庞大的数据库时,BigTable 从另一个具有不同大小的 BigTable 创建的序列文件创建

While migrating huge database in GCP, BigTable created from sequence file created from another BigTable having different size

我在 GCP 的 Bigtable 中存储了一个巨大的数据库。我正在使用 DataFlow 将 bigtable 数据从一个帐户迁移到另一个 GCP 帐户,因此,从 bigtable 创建一个序列文件并使用数据流从另一个帐户访问它。但是创建的新 table 与原始 table 的大小不同。已经将 bigtable 的序列文件和临时文件存储在不同的存储桶位置,以便它(数据流)不会将任何不需要的数据上传到新的 bigtable。原始 bigtable 大小为 321.7 GB,但新 table 显示为 340.7 GB

您的数据需要 compacted/compressed,这将自动发生。如果您刚刚进行了迁移,在接下来的几天里,后端应该会为您处理,您应该会看到更相似的 table 大小。