Google 存储上的 BigQuery EXPORT DATA csv 文件 - 问题特殊字符写入错误

Question

我需要将 BigQuery table 的数据导出到 Google Cloud Storage 上的 csv。

我使用了以下内容：

EXPORT DATA
    OPTIONS(
                uri=concat(path_file_output,'_*.csv'),
                format='CSV',
                overwrite=true,
                header=true,
                field_delimiter=';'
            )
AS
 SELECT * FROM my_bigquery_table

在 my_bigquery_table 中有字符 '€' 的字符串列在导出过程中被严重更改例如：带有“1234.56 €”的字段更改为“1234.56 â”。

有办法避免这种情况吗？在 google 文档中：https://cloud.google.com/bigquery/docs/reference/standard-sql/other-statements 没有任何其他导出选项

Answer 1

Microsoft 将永远是 Microsoft...正在阅读评论，问题来自 Excel，以及默认编码格式。

所以，让我解释一下。您的系统未使用 UTF-8 编码格式。在法国，我的系统使用的是ISO8859编码类型，当你用Excel打开一个文件时，它不理解。如果你在 Excel 中导入逗号分隔值（CSV 的含义），这在法国不起作用（我们有使用 semi-colon 分隔值的习惯）。

无论如何。没有使用 Excel 打开文件的直接解决方案。但你可以做到。

打开Excel，然后打开一个空白笔记本
从文本转到数据，获取数据
Select 您的文件并点击“获取数据”
然后您可以配置您的导入。 Select UTF-8 作为文件来源

然后继续其他参数。您可以看到您的文件示例和您将获得的结果。

注：我对微软没有什么反感，但是说到开发，微软就是个陷阱巢...

Google 存储上的 BigQuery EXPORT DATA csv 文件 - 问题特殊字符写入错误

Google BigQuery EXPORT DATA csv file on storage - issue special characters write badly

google-cloud-storage

google-bigquery

google-cloud-platform