AWS Kinesis Firehose 数据在传送到 AWS Redshift 时附加在一起
AWS Kinesis Firehose data appended together when delivering to AWS Redshift
我正在触发 lambda 以通过 Firehose 将数据发送到 Redshift。当 lambda 在很短的时间内（比如 1 分钟）被触发两次时，数据就会被整理。这会在将数据加载到 redshift 时产生问题，问题是“找到额外的列”。
例如：第一组数据：1,2,3,4，第二组数据：5,6,7,8。 Redshift 收到的数据：1,2,3,45,6,7,8
发生这种情况后，即使触发一次lambda，也没有数据加载到Redshift中。
为什么会这样？我怎样才能避免这种情况？
谢谢
这可能是由于您在数据注入代码中省略了记录结束字符。除非更改，否则记录结束，这表明这是记录的所有数据。您的数据流中需要有一个。
当数据在时间上相隔较远时，这不是问题，因为 firehose 在将它必须的数据发送到 Redshift 之前只等待一段固定的时间。在这种情况下，到达文件末尾并假定记录结束。
我正在触发 lambda 以通过 Firehose 将数据发送到 Redshift。当 lambda 在很短的时间内（比如 1 分钟）被触发两次时，数据就会被整理。这会在将数据加载到 redshift 时产生问题，问题是“找到额外的列”。
例如：第一组数据：1,2,3,4，第二组数据：5,6,7,8。 Redshift 收到的数据：1,2,3,45,6,7,8
发生这种情况后，即使触发一次lambda，也没有数据加载到Redshift中。
为什么会这样？我怎样才能避免这种情况？
谢谢
这可能是由于您在数据注入代码中省略了记录结束字符。除非更改，否则记录结束，这表明这是记录的所有数据。您的数据流中需要有一个。
当数据在时间上相隔较远时，这不是问题，因为 firehose 在将它必须的数据发送到 Redshift 之前只等待一段固定的时间。在这种情况下，到达文件末尾并假定记录结束。