从 AWS S3 传输到 Google-Cloud-Storage "UNKNOWN" 失败
Transfer from AWS S3 to Google-Cloud-Storage "UNKNOWN" failures
我正在使用 GCS 网络中提供的传输工具 dashboard/console 计划将备份文件从 S3 复制到 GCS。
在 GCS 传输日志中显示 "UNKNOWN: (showing 5 of 241 failures)"。该失败列表中显示的文件没有什么不同。相同的 241 个文件在每次计划传输时失败。有什么地方可以得到实际的错误信息吗?
我已经检查过:
- 在这些失败前后,成功复制了超过 150 万个其他文件。即这些失败不在传输列表的开头或结尾,也不连续。
- 文件大小不是太大。失败传输的大小在 100KB 到 7MB 之间。
- 文件名允许使用特殊字符,例如_ - 空格,这些字符出现在失败的传输和成功的传输中。
- 失败的文件与成功传输的文件具有完全相同的权限。
- 传输中使用的 IAM 用户策略将所有操作授予 S3 存储桶。
- 已确认 IAM 策略使用与 s3cmd 相同的访问令牌和密码。
- 进一步检查 S3 访问日志 info/errors ... 显示成功传输和失败传输的 http 206 状态。 (不是我预期的 http 状态,但成功和失败的传输都显示相同的状态)
有几件事可能会导致未知错误。有些是服务中的暂时性问题(在这种情况下,您应该重新运行 您的传输——只有 new/changed 个对象会被第二次复制)。
在其他情况下,它可能是源对象中的怪癖。例如,该服务将拒绝不具有符合 RFC 1341 的 Content-Type 的对象。特别是,它需要匹配模式 /,并有额外的限制。参见
我正在使用 GCS 网络中提供的传输工具 dashboard/console 计划将备份文件从 S3 复制到 GCS。
在 GCS 传输日志中显示 "UNKNOWN: (showing 5 of 241 failures)"。该失败列表中显示的文件没有什么不同。相同的 241 个文件在每次计划传输时失败。有什么地方可以得到实际的错误信息吗?
我已经检查过:
- 在这些失败前后,成功复制了超过 150 万个其他文件。即这些失败不在传输列表的开头或结尾,也不连续。
- 文件大小不是太大。失败传输的大小在 100KB 到 7MB 之间。
- 文件名允许使用特殊字符,例如_ - 空格,这些字符出现在失败的传输和成功的传输中。
- 失败的文件与成功传输的文件具有完全相同的权限。
- 传输中使用的 IAM 用户策略将所有操作授予 S3 存储桶。
- 已确认 IAM 策略使用与 s3cmd 相同的访问令牌和密码。
- 进一步检查 S3 访问日志 info/errors ... 显示成功传输和失败传输的 http 206 状态。 (不是我预期的 http 状态,但成功和失败的传输都显示相同的状态)
有几件事可能会导致未知错误。有些是服务中的暂时性问题(在这种情况下,您应该重新运行 您的传输——只有 new/changed 个对象会被第二次复制)。
在其他情况下,它可能是源对象中的怪癖。例如,该服务将拒绝不具有符合 RFC 1341 的 Content-Type 的对象。特别是,它需要匹配模式 /,并有额外的限制。参见