Kinesis Agent 不向 Stream 发送记录
Kinesis Agent not sending records to Stream
我已经构建了一个 Kinesis Firehose 流来将数据推送到 redshift，并且正在尝试使用 kinesis 代理从 EC2 实例推送数据。
Firehose Stream 能够解析记录但无法识别 firehose 流我收到以下 java 错误。
com.amazon.kinesis.streaming.agent.tailing.AsyncPublisher
[ERROR] AsyncPublisher[kinesis:csvtoredshiftstream:/tmp/redshift.log*]:RecordBuffer
(id=2,records=2,bytes=45) Retriable send error (com.amazonaws.services.kinesis.model.ResourceNotFoundException:
Stream csvtoredshiftstream under account xyz not found.
(Service: AmazonKinesis; Status Code: 400;
Error Code: ResourceNotFoundException;
Request ID: f4a63623-9a15-b2f8-a597-13b478c81bbc)). Will retry.
Request your pointers to identify and resolve the issue.
此致，
斯里维涅什 KN
谢谢@peter，
我能够通过以下方式为流水事件指定 agent.json 中的输入来克服错误。
{ "cloudwatch.emitMetrics": true, "kinesis.endpoint": "", "firehose.endpoint": "firehose.us-west-2.amazonaws.com", "flows": [ { "filePattern": "/tmp/s3streaming .", "deliveryStream": "S3TestingStream", "partitionKeyOption": "RANDOM" }, { "filePattern": "/tmp/app.log", "deliveryStream": "yourdeliverystream" } ] } –
此外，要使 Kinesis Streams 正常工作，还需要在与 Streams 相同的区域中创建 S3 存储桶。
如果流是在 West-2 区域创建的，S3 存储桶也应该在同一区域创建。
感谢和问候，
斯里维涅什 KN
我已经构建了一个 Kinesis Firehose 流来将数据推送到 redshift，并且正在尝试使用 kinesis 代理从 EC2 实例推送数据。
Firehose Stream 能够解析记录但无法识别 firehose 流我收到以下 java 错误。
com.amazon.kinesis.streaming.agent.tailing.AsyncPublisher
[ERROR] AsyncPublisher[kinesis:csvtoredshiftstream:/tmp/redshift.log*]:RecordBuffer
(id=2,records=2,bytes=45) Retriable send error (com.amazonaws.services.kinesis.model.ResourceNotFoundException:
Stream csvtoredshiftstream under account xyz not found.
(Service: AmazonKinesis; Status Code: 400;
Error Code: ResourceNotFoundException;
Request ID: f4a63623-9a15-b2f8-a597-13b478c81bbc)). Will retry.
Request your pointers to identify and resolve the issue.
此致， 斯里维涅什 KN
谢谢@peter，
我能够通过以下方式为流水事件指定 agent.json 中的输入来克服错误。 { "cloudwatch.emitMetrics": true, "kinesis.endpoint": "", "firehose.endpoint": "firehose.us-west-2.amazonaws.com", "flows": [ { "filePattern": "/tmp/s3streaming .", "deliveryStream": "S3TestingStream", "partitionKeyOption": "RANDOM" }, { "filePattern": "/tmp/app.log", "deliveryStream": "yourdeliverystream" } ] } –
此外，要使 Kinesis Streams 正常工作，还需要在与 Streams 相同的区域中创建 S3 存储桶。
如果流是在 West-2 区域创建的，S3 存储桶也应该在同一区域创建。
感谢和问候， 斯里维涅什 KN