无法将 350 GB 数据从一个存储桶复制到 google 云中的另一个存储桶
Unable to copy 350 GB data from one bucket to another in google cloud
我正在尝试将数据从一个存储桶移动到 Google 云上同一项目中的另一个存储桶。
它有纯图像和文档，如 .png、.jpg 和 .pdf 文件。我试了几次，但结果还是一样。
下面是我正在使用的命令，
gsutil -m cp -r -n gs://bucket1/folder1/subfolder/* gs://bucket2/folder1/subfolder/ 2>&1 |三通 ./result.txt
它运行了几个小时，一段时间后屏幕进入挂起状态，我在 google 控制台上没有看到任何日志 运行。
我的疑惑如下，GCP有没有设置，如果网络流量持续几个小时，就会阻塞流量之类的？
存储桶级别是否有大小上限？如果是，我该如何检查？
我是否必须向上述命令添加任何其他参数？
您对完成此任务还有其他建议吗？
我建议尝试使用 Storage Transfer Service 来完成任务。
Storage Transfer Service is a product that enables you to:
1.Move or backup data to a Cloud Storage bucket either from other cloud storage providers or from your on-premises storage.
> 2.Move data from one Cloud Storage bucket to another, so that it is available to different groups of users or applications.
3.Periodically move data as part of a data processing pipeline or analytical workflow.
Creating and managing data transfers with the Console
编辑
您可以 运行 命令 perfdiag - Run performance diagnostic
The perfdiag command runs a suite of diagnostic tests for a given
Google Storage bucket.
gsutil perfdiag gs://your-bucket
如果可用性不是 100% and/or 检测到 HTTP 错误，则表明存在 Service/Network 问题
我已经在实例上安装了 "screen" 包并启动了复制作业。尽管存在网络波动或控制台挂起，但该作业过去常常在后端 运行。虽然是小技巧，但对完成任务还是有很大帮助的。
我希望它也能帮助其他人。
注：我是复制文件&文件夹没动
我正在尝试将数据从一个存储桶移动到 Google 云上同一项目中的另一个存储桶。 它有纯图像和文档，如 .png、.jpg 和 .pdf 文件。我试了几次，但结果还是一样。
下面是我正在使用的命令， gsutil -m cp -r -n gs://bucket1/folder1/subfolder/* gs://bucket2/folder1/subfolder/ 2>&1 |三通 ./result.txt
它运行了几个小时，一段时间后屏幕进入挂起状态，我在 google 控制台上没有看到任何日志 运行。
我的疑惑如下，GCP有没有设置，如果网络流量持续几个小时，就会阻塞流量之类的？ 存储桶级别是否有大小上限？如果是，我该如何检查？
我是否必须向上述命令添加任何其他参数？ 您对完成此任务还有其他建议吗？
我建议尝试使用 Storage Transfer Service 来完成任务。
Storage Transfer Service is a product that enables you to:
1.Move or backup data to a Cloud Storage bucket either from other cloud storage providers or from your on-premises storage.
> 2.Move data from one Cloud Storage bucket to another, so that it is available to different groups of users or applications.
3.Periodically move data as part of a data processing pipeline or analytical workflow.
Creating and managing data transfers with the Console
编辑
您可以 运行 命令 perfdiag - Run performance diagnostic
The perfdiag command runs a suite of diagnostic tests for a given Google Storage bucket.
gsutil perfdiag gs://your-bucket
如果可用性不是 100% and/or 检测到 HTTP 错误，则表明存在 Service/Network 问题
我已经在实例上安装了 "screen" 包并启动了复制作业。尽管存在网络波动或控制台挂起，但该作业过去常常在后端 运行。虽然是小技巧，但对完成任务还是有很大帮助的。 我希望它也能帮助其他人。 注：我是复制文件&文件夹没动