AWS RDS SQL 服务器迁移 - 将大型备份文件上传到 AWS S3
AWS RDS SQL Server Migration - Upload large backup file to AWS S3
作为本地 SQL 服务器迁移到 AWS RDS 的一部分,我需要将大约 20GB 的本地备份文件上传到 AWS S3 存储桶以在 AWS RDS 上恢复 SQL 服务器实例。使用 AWS CLI
C:\Test>aws s3 cp C:\testfolder\mydb_02182021.bak s3://dbs3/OnPremisesBackups/mydb_02182021.bak
它运行了一段时间,上传了大约 2.5-3GB,然后抛出了这样的错误
upload failed: ..\..\testfolder\mydb_02182021.bak to s3://dbs3/OnPremisesBackups/mydb_02182021.bak Connection was closed before we received a valid response from endpoint URL: "https://dbs3.s3.amazonaws.com/OnPremisesBackups/mydb_02182021.bak?uploadId=xxxxxxxxx-&partNumber=601".
根据 AWS 文档,高级 S3 命令会破坏巨大的文件并分段上传。这里有哪些选项?将备份分成多个文件并上传?还有另一个 200GB 备份大小的数据库,怎么办?我检查了分段上传,它更多的是 Unix/Linux 版本 - 使用 unix 命令将文件分成多个部分并加载它们。它在 Windows 中如何运作?
当您 运行 高级 (aws s3) 命令(例如 aws s3 cp)时,Amazon S3 会自动对大型对象执行分段上传。在分段上传中,一个大文件被分成多个部分并分别上传到 Amazon S3。上传所有部分后,Amazon S3 将这些部分合并到一个文件中。分段上传可以加快上传速度并降低大文件失败的可能性。
我认为您的连接存在问题,也许可以使用 ftp 或 scp 和 运行 从那里使用 s3 cp 命令将其上传到 ec2 服务器
作为本地 SQL 服务器迁移到 AWS RDS 的一部分,我需要将大约 20GB 的本地备份文件上传到 AWS S3 存储桶以在 AWS RDS 上恢复 SQL 服务器实例。使用 AWS CLI
C:\Test>aws s3 cp C:\testfolder\mydb_02182021.bak s3://dbs3/OnPremisesBackups/mydb_02182021.bak
它运行了一段时间,上传了大约 2.5-3GB,然后抛出了这样的错误
upload failed: ..\..\testfolder\mydb_02182021.bak to s3://dbs3/OnPremisesBackups/mydb_02182021.bak Connection was closed before we received a valid response from endpoint URL: "https://dbs3.s3.amazonaws.com/OnPremisesBackups/mydb_02182021.bak?uploadId=xxxxxxxxx-&partNumber=601".
根据 AWS 文档,高级 S3 命令会破坏巨大的文件并分段上传。这里有哪些选项?将备份分成多个文件并上传?还有另一个 200GB 备份大小的数据库,怎么办?我检查了分段上传,它更多的是 Unix/Linux 版本 - 使用 unix 命令将文件分成多个部分并加载它们。它在 Windows 中如何运作?
当您 运行 高级 (aws s3) 命令(例如 aws s3 cp)时,Amazon S3 会自动对大型对象执行分段上传。在分段上传中,一个大文件被分成多个部分并分别上传到 Amazon S3。上传所有部分后,Amazon S3 将这些部分合并到一个文件中。分段上传可以加快上传速度并降低大文件失败的可能性。
我认为您的连接存在问题,也许可以使用 ftp 或 scp 和 运行 从那里使用 s3 cp 命令将其上传到 ec2 服务器