ValidationException - 成员的长度必须小于或等于 500

ValidationException - Member must have length less than or equal to 500

我的 Snowplow enricher 将数据加载到 Kinesis 数据流,但 Kinesis 以错误 400 和消息 Member must have length less than or equal to 500 (Service: AmazonKinesis; Status Code: 400; Error Code: ValidationException 响应,我在 AmazonKinesis 文档中找不到此异常。我的帖子也看不懂,500什么,bytes?当我在 AWS 控制台中查看 Kinesis 时,没有设置为 500,而且我也没有看到与最大大小相关的任何内容。

谁能告诉我这个 500 是什么意思?

该错误表示 Enrich 应用程序正在尝试一次将超过 500 条记录写入 Kinesis。 Kinesis API 的 PutRequests 动作有 500 个条目的限制。这已记录在案 here

在您的 Enrich 配置文件中,您有 buffer section,您可以在其中指定:

      byteLimit = 10000000
      recordLimit = 480 
      timeLimit = 60000

当达到这些限制之一时触发刷新,以先发生者为准。