使用数据管道将数据导入 dynamodb 时出现异常

Question

我设置了数据管道以将数据导入 dynamodb 数据库。我创建了一个与 dynamodb 导出语法匹配的脚本。下面是示例输出，

DateAdded^C{"s":"2009-11-10T18:19:00-07:00"}^BASIN^C{"s":"B001AMUFSE"} DateAdded^C{"s":"2009-11-10T18:19:00-07:00"}^BASIN^C{"s":"B0013IWYHU"} DateAdded^C{"s":"2009-11-10T18:17:00-07:00"}^BASIN^C{"s":"B000P62ND6"}

当我将此文件提供给数据管道时出现错误

org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row {"item":{"DateAdded^C{\"s\":\"2009-11-10T18:19:00-07:00\"}^BASIN^C{\"s\":\"B001AMUFSE\"}":null}}

输入格式有什么问题吗，这是我的脚本行，转换为上面的 synatx

line = 'DateAdded\x03{o}"s":"{}"{c}\x02ASIN\x03{o}"s":"{}"{c}\n'.format(record.date_added, record.asin, o = '{', c = '}')

Answer 1

得到答案，我需要使用 \x0A 作为换行符而不是 \n 作为新行。

使用数据管道将数据导入 dynamodb 时出现异常

Exception while importing data to dynamodb using data pipeline

amazon-dynamodb

control-characters