Amazon Redshift COPY 命令失败并出现以下错误

Question

我在尝试使用复制命令将文件从 S3 加载到我的 redshift 表时遇到以下错误，但找不到任何相关线索。

  -----------------------------------------------
  error:  Failed writing body (0 != 776) Cause: Failed to inflateinvalid or incomplete deflate data. zlib error code: -3
  code:      9001
  context:   S3 key being read : s3://redshift-dev-sandbox/Moores.csv
  query:     2565852
  location:  table_s3_scanner.cpp:356
  process:   query0_33 [pid=10565]
  -----------------------------------------------

Answer 1

有一个混淆：您不能在简单的 csv 文件上指定 GZIP 算法。

您将拥有一份 csv 文件的副本：

copy "aw_tushar_allentity".dataset_customerdataset from 's3://redshift-dev-sandbox/Moores.csv' 
credentials 'aws_access_key_id=xxxx;aws_secret_access_key=xxxx'
delimiter ',' CSV IGNOREHEADER 1;

或者如果您的文件是从 GZIP 文件压缩而来：

copy "aw_tushar_allentity".dataset_customerdataset from 's3://redshift-dev-sandbox/Moores.csv.gz' 
credentials 'aws_access_key_id=xxxx;aws_secret_access_key=xxxx'
gzip
delimiter ',' CSV IGNOREHEADER 1;

Amazon Redshift COPY 命令失败并出现以下错误

Amazon Redshift COPY command fails with following error

amazon-s3

amazon-web-services

amazon-redshift