Ubuntu 16.04 到 Amazon S3 的重复备份失败并显示“[Errno 104] 连接被对等方重置”
Ubuntu 16.04 Duplicity backup to Amazon S3 fails with "[Errno 104] Connection reset by peer"
我正在尝试使用 Duplicity 将大型文件系统（~800 GB）从 Ubuntu 16.04 备份到 Amazon S3。看起来它备份了大部分文件系统，但一直卡在最后。
我现在多次使用 运行 这个命令，它把 failing/aborting 保存在同一个地方（备份大约 8 小时）：
$ duplicity --no-encryption --s3-use-ia --archive-dir /var/abc/tmp --tempdir /var/abc/tmp --exclude /var/abc/tmp /var/abc s3://s3-us-west-2.amazonaws.com/mybucket
Local and Remote metadata are synchronized, no sync needed.
Warning, found incomplete backup sets, probably left from aborted session
Last full backup left a partial set, restarting.
Last full backup date: Tue Jul 25 11:13:45 2017
RESTART: Volumes 32085 to 32085 failed to upload before termination.
Restarting backup at volume 32085.
Restarting after volume 32084, file backups/resourcespace.20170730.sql.gz, block 399
Attempt 1 failed. error: [Errno 104] Connection reset by peer
Attempt 2 failed. error: [Errno 104] Connection reset by peer
Attempt 3 failed. error: [Errno 104] Connection reset by peer
Attempt 4 failed. error: [Errno 104] Connection reset by peer
Giving up after 5 attempts. error: [Errno 104] Connection reset by peer
在我第一次尝试后，我尝试将 duplicity 升级到最新的 PPA，现在 运行ning 0.7.13.1。再次尝试 -- 同样失败。
接下来我将 boto 从 2.38.0 升级到 2.48.0（通过 PIP），但仍然遇到同样的故障。
我发现一些较旧的帖子暗示这曾经是由于亚马逊方面的某种 5GB 限制而发生的，但是这些帖子还声称它应该在 Duplicity 的 0.7 系列中修复（我是运行宁).
如有任何关于如何进行进一步故障排除的建议，我们将不胜感激，谢谢！
想post在这里跟进。我确实设法让这个最终工作，虽然确切的答案有点不清楚。
最初我有一个 partial/aborted 备份，我升级了 duplicity，然后升级了 boto，然后尝试恢复中止的备份，看看是否可以完成它。
放弃之后，我做了以下事情：
- 删除了原始备份以使用所有更新的代码重新开始。
- 向 Duplicity 添加了 --volsize 1024 以减少记录的卷数。
- 添加了 --s3-use-multiprocessing 以尝试加快处理速度。
其中一个或多个步骤解决了 Errno 104 问题，现在我的备份已完成。当我 运行 新备份时，我的临时目录中的情况看起来有所不同，所以我非常怀疑从旧代码恢复旧备份可能会导致问题。但它很可能与 volsize 相关（从 20MB 到 1024MB）。
我的签名文件仍然很大，有 7.7GB，但不再引起问题。
干净的备份现在似乎一切正常。
我遇到了完全相同的问题。事实证明我的 AWS 访问和秘密密钥是错误的。更新它们解决了问题。
也许这不是你的情况，但它可以帮助其他受影响的人。
我正在尝试使用 Duplicity 将大型文件系统（~800 GB）从 Ubuntu 16.04 备份到 Amazon S3。看起来它备份了大部分文件系统，但一直卡在最后。
我现在多次使用 运行 这个命令，它把 failing/aborting 保存在同一个地方（备份大约 8 小时）：
$ duplicity --no-encryption --s3-use-ia --archive-dir /var/abc/tmp --tempdir /var/abc/tmp --exclude /var/abc/tmp /var/abc s3://s3-us-west-2.amazonaws.com/mybucket
Local and Remote metadata are synchronized, no sync needed.
Warning, found incomplete backup sets, probably left from aborted session
Last full backup left a partial set, restarting.
Last full backup date: Tue Jul 25 11:13:45 2017
RESTART: Volumes 32085 to 32085 failed to upload before termination.
Restarting backup at volume 32085.
Restarting after volume 32084, file backups/resourcespace.20170730.sql.gz, block 399
Attempt 1 failed. error: [Errno 104] Connection reset by peer
Attempt 2 failed. error: [Errno 104] Connection reset by peer
Attempt 3 failed. error: [Errno 104] Connection reset by peer
Attempt 4 failed. error: [Errno 104] Connection reset by peer
Giving up after 5 attempts. error: [Errno 104] Connection reset by peer
在我第一次尝试后，我尝试将 duplicity 升级到最新的 PPA，现在 运行ning 0.7.13.1。再次尝试 -- 同样失败。
接下来我将 boto 从 2.38.0 升级到 2.48.0（通过 PIP），但仍然遇到同样的故障。
我发现一些较旧的帖子暗示这曾经是由于亚马逊方面的某种 5GB 限制而发生的，但是这些帖子还声称它应该在 Duplicity 的 0.7 系列中修复（我是运行宁).
如有任何关于如何进行进一步故障排除的建议，我们将不胜感激，谢谢！
想post在这里跟进。我确实设法让这个最终工作，虽然确切的答案有点不清楚。
最初我有一个 partial/aborted 备份，我升级了 duplicity，然后升级了 boto，然后尝试恢复中止的备份，看看是否可以完成它。
放弃之后，我做了以下事情：
- 删除了原始备份以使用所有更新的代码重新开始。
- 向 Duplicity 添加了 --volsize 1024 以减少记录的卷数。
- 添加了 --s3-use-multiprocessing 以尝试加快处理速度。
其中一个或多个步骤解决了 Errno 104 问题，现在我的备份已完成。当我 运行 新备份时，我的临时目录中的情况看起来有所不同，所以我非常怀疑从旧代码恢复旧备份可能会导致问题。但它很可能与 volsize 相关（从 20MB 到 1024MB）。
我的签名文件仍然很大，有 7.7GB，但不再引起问题。
干净的备份现在似乎一切正常。
我遇到了完全相同的问题。事实证明我的 AWS 访问和秘密密钥是错误的。更新它们解决了问题。
也许这不是你的情况，但它可以帮助其他受影响的人。