从 amazon kinesis 获取数据到 java 网络应用程序

get data from amazon kinesis into java web application

我是 amazon kinesis 的新手,所以这个问题可能是非常基本的问题。 但我需要这方面的帮助, 我有一个用例,我需要将数据从 amazon kinesis 提取到我在 JAva 中创建的 Web 应用程序中,我需要获得 kinesis 和 java 之间的连接,以便我可以从 amazon kinesis 获取数据并对数据进行一些分析,如果数据被修改,那么我需要将数据从 java 应用程序放回 amazon kinesis。 这里我的 java 应用程序不在亚马逊云上,它在我的私有云上​​。那么我该如何完成上述任务。

请帮助我。

首先,Amazon Kinesis API 端点位于 public IP 地址上,因此您无需在 AWS 环境中拥有 EC2 实例即可访问 Kinesis。

要从Kinesis 读取数据,您可以使用Amazon 自己的Kinesis Client Library (KCL)。 https://github.com/awslabs/amazon-kinesis-client

在 AwsLabs GitHub 上,还有用 Java 编写的示例应用程序。 https://github.com/awslabs/amazon-kinesis-connectors/tree/master/src/main/samples

关于你的架构;如果你想处理原始数据并创建有意义的提取物,我建议你做一些 ETL 任务(又名:post 处理)并将你的结果写入另一个地方(即 RDBMS)。在视图层(您的网络应用程序)上,您可以通过从数据库中读取来以您喜欢的任何格式显示结果输出。