在不影响读取延迟的情况下复制 BigTable table 的方法
ways to copy BigTable table without affecting the read latency
我正在尝试将 BigTable table 从一个实例复制到另一个实例,但似乎没有直接的方法。
我正在探索先导出到 GCS,然后再导出到 BigTable 的 Dataflow 作业,但在导出过程中,我担心这可能会影响 BigTable 源的读取延迟 table。有没有什么办法可以在不影响源码性能的情况下进行复制table?来源 table 是获得高流量的生产数据。
您可以创建一个新集群,并使用具有 single-cluster 路由的应用程序配置文件从中读取数据流作业。这些读取不会影响流向任何其他集群的生产流量。 Dataflow 作业完成后,您可以删除新集群。
这大致属于此处描述的用例:
https://cloud.google.com/bigtable/docs/replication-overview#batch-vs-serve
您也可以尝试 Backups 功能,通过在源实例中创建 table 的备份来移动数据,并将备份恢复到新的 table 中目标实例。这不会影响原来table.
的性能
我正在尝试将 BigTable table 从一个实例复制到另一个实例,但似乎没有直接的方法。
我正在探索先导出到 GCS,然后再导出到 BigTable 的 Dataflow 作业,但在导出过程中,我担心这可能会影响 BigTable 源的读取延迟 table。有没有什么办法可以在不影响源码性能的情况下进行复制table?来源 table 是获得高流量的生产数据。
您可以创建一个新集群,并使用具有 single-cluster 路由的应用程序配置文件从中读取数据流作业。这些读取不会影响流向任何其他集群的生产流量。 Dataflow 作业完成后,您可以删除新集群。
这大致属于此处描述的用例: https://cloud.google.com/bigtable/docs/replication-overview#batch-vs-serve
您也可以尝试 Backups 功能,通过在源实例中创建 table 的备份来移动数据,并将备份恢复到新的 table 中目标实例。这不会影响原来table.
的性能