AWS Kinesis Stream 详细回顾
AWS Kinesis Stream In Detail Review
我是 AWS 新手。我已经使用 java 在 aws 中实现了一些功能。我的要求是一次向 RDS PostgreSQL 实例插入一个 50MB 的 csv。
我尝试使用 aws lmabda 服务。但是 5 分钟后 lambda 将停止，所以我就这样放弃了。（lambda 函数的限制）
我遵循的第二步是编写了一个 java s3 事件的 lambda 代码，它将使用 putrecord 命令将落在 s3 上的 csv 文件读取到运动流。据我了解，kinesis能够逐条记录读取csv文件。此运动流将调用第二个 lambda 函数，该函数将数据保存到 postgreSQL。
一切都很好。但我的困惑是只有 32000 条记录正在插入。我的 csv 中有 50000 条记录。根据运动流，它会将每一行读取为一条记录，所以每次它都会单独调用 lambda，对吗？那么为什么它没有完全保存呢？
我的运动流中的另一个问题配置如下。
同样在我的 lambda 中，我将 kinesis 配置为
这是符合我要求的正确配置吗？如果我将 batchsize 设为 1，我的函数会插入完整记录吗？请告诉我您对此的了解。提前谢谢你，这将是一个很大的帮助！！！！
您超出了单个分片的限制。
查看以下文档：
Amazon Kinesis Data Streams Limits
确保您的代码在每次 AWS 调用时检查错误。
我是 AWS 新手。我已经使用 java 在 aws 中实现了一些功能。我的要求是一次向 RDS PostgreSQL 实例插入一个 50MB 的 csv。
我尝试使用 aws lmabda 服务。但是 5 分钟后 lambda 将停止，所以我就这样放弃了。（lambda 函数的限制）
我遵循的第二步是编写了一个 java s3 事件的 lambda 代码，它将使用 putrecord 命令将落在 s3 上的 csv 文件读取到运动流。据我了解，kinesis能够逐条记录读取csv文件。此运动流将调用第二个 lambda 函数，该函数将数据保存到 postgreSQL。
一切都很好。但我的困惑是只有 32000 条记录正在插入。我的 csv 中有 50000 条记录。根据运动流，它会将每一行读取为一条记录，所以每次它都会单独调用 lambda，对吗？那么为什么它没有完全保存呢？
我的运动流中的另一个问题配置如下。
同样在我的 lambda 中，我将 kinesis 配置为
这是符合我要求的正确配置吗？如果我将 batchsize 设为 1，我的函数会插入完整记录吗？请告诉我您对此的了解。提前谢谢你，这将是一个很大的帮助！！！！
您超出了单个分片的限制。
查看以下文档： Amazon Kinesis Data Streams Limits
确保您的代码在每次 AWS 调用时检查错误。