Google 未列出云存储传输失败的文件
Google Cloud Storage Transfer Failed Files Not Listed
我们最近从一台退役的旧服务器 "on-premises transfer" 到通过 docker 连接的 Google 云存储桶。传输的总大小为 365GB。控制台显示传输已 100% 完成,传输了 365GB 的数据,但控制台将传输列为失败,因为“2 个文件传输失败”。但是,它没有列出 哪些 个失败的文件。错误详情页面有 "no results" 而传输摘要页面没有列出它们。我怀疑这些文件无关紧要,但我想检查一下。如何找出哪些文件传输失败?
由于您的问题需要更详细地查看您的日志以确定此传输失败的原因
我建议您联系 Google Cloud Platform technical support 以解决此问题
您可以查看这些支持渠道并在那里提出您的云存储技术问题。
如果您只想查看您的日志而不需要进行更深入的调查,您只需在所选目录中找到您的日志。
根据the public documentation in order to store the logs of the transfer you have to use the --log-dir=logs-directory
flag. Then you will be able to inspect your transfer logs确定此文件失败的原因。如果您没有使用此标志,那么您将需要再次 运行 传输作业
有一个完整的[疑难解答部分](
https://cloud.google.com/storage-transfer/docs/troubleshooting-on-prem
) 在 public 文档中,如果您想知道如何解决您的传输的特定问题
只是为了澄清 VirtualMitra 的评论——除了 Transfer Service 在代理 运行 所在的机器上生成的本地日志之外(这主要包含有关各个代理进程所发生情况的信息),产品跟踪每个- 用于故障排除的文件状态。
查看传输错误的方法有两种:
- 您可以直接在 GUI 中看到一小部分错误的快速概览视图。你可以 follow the instructions here on how to see these error samples in the job details page.
- 如果您想处理所有错误,您可以在格式化的 TSV 文件中看到传输日志中所有错误的完整列表,其中包含关于每个文件所发生情况的大量详细信息,包括文件何时被删除已访问、计算的校验和、文件是否已成功复制以及任何未通过自动重试解决的错误消息。您可以在 where these logs are stored and the format of the data stored in the logs 上找到更多信息。这些对象在每次执行的传输中生成,并且可以加载到您选择的工具中以获取详细信息 troubleshooting/querying 如果需要(例如 BigQuery)。
以上所有内容均可由转移用户直接访问,您无需通过支持即可访问此数据。
我们最近从一台退役的旧服务器 "on-premises transfer" 到通过 docker 连接的 Google 云存储桶。传输的总大小为 365GB。控制台显示传输已 100% 完成,传输了 365GB 的数据,但控制台将传输列为失败,因为“2 个文件传输失败”。但是,它没有列出 哪些 个失败的文件。错误详情页面有 "no results" 而传输摘要页面没有列出它们。我怀疑这些文件无关紧要,但我想检查一下。如何找出哪些文件传输失败?
由于您的问题需要更详细地查看您的日志以确定此传输失败的原因
我建议您联系 Google Cloud Platform technical support 以解决此问题
您可以查看这些支持渠道并在那里提出您的云存储技术问题。
如果您只想查看您的日志而不需要进行更深入的调查,您只需在所选目录中找到您的日志。
根据the public documentation in order to store the logs of the transfer you have to use the --log-dir=logs-directory
flag. Then you will be able to inspect your transfer logs确定此文件失败的原因。如果您没有使用此标志,那么您将需要再次 运行 传输作业
有一个完整的[疑难解答部分]( https://cloud.google.com/storage-transfer/docs/troubleshooting-on-prem ) 在 public 文档中,如果您想知道如何解决您的传输的特定问题
只是为了澄清 VirtualMitra 的评论——除了 Transfer Service 在代理 运行 所在的机器上生成的本地日志之外(这主要包含有关各个代理进程所发生情况的信息),产品跟踪每个- 用于故障排除的文件状态。
查看传输错误的方法有两种:
- 您可以直接在 GUI 中看到一小部分错误的快速概览视图。你可以 follow the instructions here on how to see these error samples in the job details page.
- 如果您想处理所有错误,您可以在格式化的 TSV 文件中看到传输日志中所有错误的完整列表,其中包含关于每个文件所发生情况的大量详细信息,包括文件何时被删除已访问、计算的校验和、文件是否已成功复制以及任何未通过自动重试解决的错误消息。您可以在 where these logs are stored and the format of the data stored in the logs 上找到更多信息。这些对象在每次执行的传输中生成,并且可以加载到您选择的工具中以获取详细信息 troubleshooting/querying 如果需要(例如 BigQuery)。
以上所有内容均可由转移用户直接访问,您无需通过支持即可访问此数据。