为什么在 GCP 中传输 csv 文件失败,错误日志在哪里?

Why Transfer in GCP failed on csv file and where is the error log?

我正在测试 GCP 中的传递函数:

这是打开的csv数据,https://www.stats.govt.nz/assets/Uploads/Annual-enterprise-survey/Annual-enterprise-survey-2018-financial-year-provisional/Download-data/annual-enterprise-survey-2018-financial-year-provisional-csv.csv

我在 GCP 中的配置:

传输失败如下:

问题一:为什么转账失败?

问题二:错误日志在哪里?

非常感谢。

[更新]:

我检查了日志历史记录,没有捕获任何内容:

[更新 2]:

错误详情:

详细信息:URL 列表中的第一行必须是 TsvHttpData-1.0 但它是:Year,Industry_aggregation_NZSIOC,Industry_code_NZSIOC,Industry_name_NZSIOC,Units,Variable_code,Variable_name,Variable_category,值,Industry_code_ANZSIC06

如果您为源选择第三个选项,我在传输服务中注意到:它读取 TSV 文件的 URL。本质上,TSV、PSV 只是 CSV 的变体,我可以毫无问题地检索源 csv 文件。错误详细信息似乎暗示了那里没有预料到的事情。

问题在于,在您的示例中,您指向一个数据文件作为传输源。如果我们阅读有关 GCS 传输的文档,我们会发现我们必须指定一个文件,其中包含我们要复制的目标 URL 的标识。

此文件的格式称为制表符分隔值 (TSV),包含许多参数,包括:

  1. 文件来源URL
  2. 源文件的字节大小。
  3. 源文件内容的 MD5 哈希值。

您指定的内容(仅是源文件的 URL)...不是必需的。

一种可能的解决方案是使用 gsutil。它可以选择将流作为输入并将该流写入给定对象。例如:

curl http://[URL]/[PATH] | gsutil cp - gs://[BUCKET]/[OBJECT]

参考文献: