为什么在 GCP 中传输 csv 文件失败,错误日志在哪里?
Why Transfer in GCP failed on csv file and where is the error log?
我正在测试 GCP 中的传递函数:
我在 GCP 中的配置:
传输失败如下:
问题一:为什么转账失败?
问题二:错误日志在哪里?
非常感谢。
[更新]:
我检查了日志历史记录,没有捕获任何内容:
[更新 2]:
错误详情:
详细信息:URL 列表中的第一行必须是 TsvHttpData-1.0 但它是:Year,Industry_aggregation_NZSIOC,Industry_code_NZSIOC,Industry_name_NZSIOC,Units,Variable_code,Variable_name,Variable_category,值,Industry_code_ANZSIC06
如果您为源选择第三个选项,我在传输服务中注意到:它读取 TSV 文件的 URL。本质上,TSV、PSV 只是 CSV 的变体,我可以毫无问题地检索源 csv 文件。错误详细信息似乎暗示了那里没有预料到的事情。
问题在于,在您的示例中,您指向一个数据文件作为传输源。如果我们阅读有关 GCS 传输的文档,我们会发现我们必须指定一个文件,其中包含我们要复制的目标 URL 的标识。
此文件的格式称为制表符分隔值 (TSV),包含许多参数,包括:
- 文件来源URL
- 源文件的字节大小。
- 源文件内容的 MD5 哈希值。
您指定的内容(仅是源文件的 URL)...不是必需的。
一种可能的解决方案是使用 gsutil。它可以选择将流作为输入并将该流写入给定对象。例如:
curl http://[URL]/[PATH] | gsutil cp - gs://[BUCKET]/[OBJECT]
参考文献:
- Creating a URL list
- Can I upload files to google cloud storage from url?
我正在测试 GCP 中的传递函数:
我在 GCP 中的配置:
传输失败如下:
问题一:为什么转账失败?
问题二:错误日志在哪里?
非常感谢。
[更新]:
我检查了日志历史记录,没有捕获任何内容:
[更新 2]:
错误详情:
详细信息:URL 列表中的第一行必须是 TsvHttpData-1.0 但它是:Year,Industry_aggregation_NZSIOC,Industry_code_NZSIOC,Industry_name_NZSIOC,Units,Variable_code,Variable_name,Variable_category,值,Industry_code_ANZSIC06
如果您为源选择第三个选项,我在传输服务中注意到:它读取 TSV 文件的 URL。本质上,TSV、PSV 只是 CSV 的变体,我可以毫无问题地检索源 csv 文件。错误详细信息似乎暗示了那里没有预料到的事情。
问题在于,在您的示例中,您指向一个数据文件作为传输源。如果我们阅读有关 GCS 传输的文档,我们会发现我们必须指定一个文件,其中包含我们要复制的目标 URL 的标识。
此文件的格式称为制表符分隔值 (TSV),包含许多参数,包括:
- 文件来源URL
- 源文件的字节大小。
- 源文件内容的 MD5 哈希值。
您指定的内容(仅是源文件的 URL)...不是必需的。
一种可能的解决方案是使用 gsutil。它可以选择将流作为输入并将该流写入给定对象。例如:
curl http://[URL]/[PATH] | gsutil cp - gs://[BUCKET]/[OBJECT]
参考文献:
- Creating a URL list
- Can I upload files to google cloud storage from url?