使用 terraform 在 ETL 中导致错误的引用

Question

我正在尝试在执行清理时将我的数据从 csv 转换为 parquet。将我的数据从一个存储桶移动到下一个存储桶时，我总是收到错误消息！我发现这与我的其中一个包含引号的专栏有关 例如可以是

we"l12

我想更改我的 terraform 文件，以便它允许在来自 s3 存储桶的字符串中通过 aws glue 引用并进入另一个 s3 存储桶。 无论如何添加 none 引号？或者其他解决方法？

Answer 1

我发现在胶水的 terraform 文件中 table 您可以将 quoteChar 的参数设置为 = ^B，这在数据中很少使用，这将防止您的报价被读。希望这对某人有帮助

storage_descriptor {

parameters{
quoteChar = "\u0002"
          }
}