通过cli查询aws kinesis put-record
query on aws kinesis put-record through cli
这是关于通过 AWS CLI 的 aws kinesis put-record 命令。
我可以使用 kinesis cli 输入文本数据。
aws kinesis put-record --cli-binary-format raw-in-base64-out --stream-name NagaTZeusTestStream --partition-key 1 --data 2 --region us-west-2
这里的数据是2
但是我怎样才能用 csv 文件代替 2 作为数据。
以及我如何将 s3 中的 csv 文件放入
例如:
aws kinesis put-record --cli-binary-format raw-in-base64-out --stream-name NagaTZeusStream --partition-key 1 --data s3://cona-sample-salesforce-data/testdata/ --region us-west
在这种情况下,s3 存储桶中的文件 csv 文件应作为数据记录上传,但 kinesis 正在将 s3 路径本身视为数据字符串。
如有任何帮助,我们将不胜感激。提前致谢
Kinesis Streams 让您可以编写不透明的数据块。 Kinesis PutRecord
API (which is what the AWS CLI kinesis put-record
命令调用) 希望你给它一个数据块。如果数据存储在 S3 中,您有责任加载该数据以发送到 Kinesis。
处理“大”数据时常见的 Kinesis 模式是将实际数据放入其他存储系统(S3 是一个很好的例子),然后写入该数据的“位置”(在本例中,S3路径)到 Kinesis。使用 Kinesis Streams,您的吞吐量(和成本)to/from Kinesis 直接受到您的数据量的影响 read/write。这当然需要发布者和消费者之间就消息的确切格式(和语义)进行协调。如果是这种情况,您应该看看您的消费者期望您的消息格式是什么。
但这里的故事寓意是 Kinesis(和 CLI 的 put-record
)将 put/write 完全按照您的要求进行。
这是关于通过 AWS CLI 的 aws kinesis put-record 命令。
我可以使用 kinesis cli 输入文本数据。
aws kinesis put-record --cli-binary-format raw-in-base64-out --stream-name NagaTZeusTestStream --partition-key 1 --data 2 --region us-west-2
这里的数据是2
但是我怎样才能用 csv 文件代替 2 作为数据。
以及我如何将 s3 中的 csv 文件放入
例如:
aws kinesis put-record --cli-binary-format raw-in-base64-out --stream-name NagaTZeusStream --partition-key 1 --data s3://cona-sample-salesforce-data/testdata/ --region us-west
在这种情况下,s3 存储桶中的文件 csv 文件应作为数据记录上传,但 kinesis 正在将 s3 路径本身视为数据字符串。
如有任何帮助,我们将不胜感激。提前致谢
Kinesis Streams 让您可以编写不透明的数据块。 Kinesis PutRecord
API (which is what the AWS CLI kinesis put-record
命令调用) 希望你给它一个数据块。如果数据存储在 S3 中,您有责任加载该数据以发送到 Kinesis。
处理“大”数据时常见的 Kinesis 模式是将实际数据放入其他存储系统(S3 是一个很好的例子),然后写入该数据的“位置”(在本例中,S3路径)到 Kinesis。使用 Kinesis Streams,您的吞吐量(和成本)to/from Kinesis 直接受到您的数据量的影响 read/write。这当然需要发布者和消费者之间就消息的确切格式(和语义)进行协调。如果是这种情况,您应该看看您的消费者期望您的消息格式是什么。
但这里的故事寓意是 Kinesis(和 CLI 的 put-record
)将 put/write 完全按照您的要求进行。