来自 S3 的 Redshift 复制命令有效,但没有上传数据
Redshift copy command from S3 works, but no data uploaded
我正在使用复制命令将文件 (.csv.gz) 从 AWS S3 复制到 Redshift
从sales_inventory复制
's3://[redacted].csv.gz'
凭据'[编辑]'
更新时间
分隔符 ','
压缩包
忽略标题 1
删除引号
最大错误 30
空 'NULL'
时间格式 'YYYY-MM-DD HH:MI:SS'
;
我没有收到任何错误,只是“0 行加载成功”。我检查了简单的事情:仔细检查了文件的内容,确保我使用复制命令瞄准了正确的文件。然后我创建了一个简单的单行示例文件来尝试,但它没有用。我一直在使用我很久以前制作的复制命令模板,并且最近才起作用。
我可能忽略了哪些常见错误?我可以尝试除示例文件以外的任何方式吗?
谢谢。
使用 IGNOREHEADER 1
选项,Redshift 会将第一行视为 header 并跳过它。如果文件中只有一行,则应取消此选项。
如果您的文件包含多条记录,您可能会遇到数据加载错误。由于您指定了 MAXERROR 30
,Redshift 将跳过最多 30 条无效记录和 return 成功结果。复制过程中的加载错误信息将存储在STL_LOAD_ERRORS table中。尝试 SELECT * FROM STL_LOAD_ERRORS order by starttime desc limit 10;
检查是否有加载错误。
我正在使用复制命令将文件 (.csv.gz) 从 AWS S3 复制到 Redshift
从sales_inventory复制 's3://[redacted].csv.gz' 凭据'[编辑]' 更新时间 分隔符 ',' 压缩包 忽略标题 1 删除引号 最大错误 30 空 'NULL' 时间格式 'YYYY-MM-DD HH:MI:SS' ;
我没有收到任何错误,只是“0 行加载成功”。我检查了简单的事情:仔细检查了文件的内容,确保我使用复制命令瞄准了正确的文件。然后我创建了一个简单的单行示例文件来尝试,但它没有用。我一直在使用我很久以前制作的复制命令模板,并且最近才起作用。
我可能忽略了哪些常见错误?我可以尝试除示例文件以外的任何方式吗?
谢谢。
使用 IGNOREHEADER 1
选项,Redshift 会将第一行视为 header 并跳过它。如果文件中只有一行,则应取消此选项。
如果您的文件包含多条记录,您可能会遇到数据加载错误。由于您指定了 MAXERROR 30
,Redshift 将跳过最多 30 条无效记录和 return 成功结果。复制过程中的加载错误信息将存储在STL_LOAD_ERRORS table中。尝试 SELECT * FROM STL_LOAD_ERRORS order by starttime desc limit 10;
检查是否有加载错误。