从 amazon kinesis 获取数据到 java 网络应用程序
get data from amazon kinesis into java web application
我是 amazon kinesis 的新手,所以这个问题可能是非常基本的问题。
但我需要这方面的帮助,
我有一个用例,我需要将数据从 amazon kinesis 提取到我在 JAva 中创建的 Web 应用程序中,我需要获得 kinesis 和 java 之间的连接,以便我可以从 amazon kinesis 获取数据并对数据进行一些分析,如果数据被修改,那么我需要将数据从 java 应用程序放回 amazon kinesis。
这里我的 java 应用程序不在亚马逊云上,它在我的私有云上。那么我该如何完成上述任务。
请帮助我。
首先,Amazon Kinesis API 端点位于 public IP 地址上,因此您无需在 AWS 环境中拥有 EC2 实例即可访问 Kinesis。
要从Kinesis 读取数据,您可以使用Amazon 自己的Kinesis Client Library (KCL)。
https://github.com/awslabs/amazon-kinesis-client
在 AwsLabs GitHub 上,还有用 Java 编写的示例应用程序。
https://github.com/awslabs/amazon-kinesis-connectors/tree/master/src/main/samples
关于你的架构;如果你想处理原始数据并创建有意义的提取物,我建议你做一些 ETL 任务(又名:post 处理)并将你的结果写入另一个地方(即 RDBMS)。在视图层(您的网络应用程序)上,您可以通过从数据库中读取来以您喜欢的任何格式显示结果输出。
我是 amazon kinesis 的新手,所以这个问题可能是非常基本的问题。 但我需要这方面的帮助, 我有一个用例,我需要将数据从 amazon kinesis 提取到我在 JAva 中创建的 Web 应用程序中,我需要获得 kinesis 和 java 之间的连接,以便我可以从 amazon kinesis 获取数据并对数据进行一些分析,如果数据被修改,那么我需要将数据从 java 应用程序放回 amazon kinesis。 这里我的 java 应用程序不在亚马逊云上,它在我的私有云上。那么我该如何完成上述任务。
请帮助我。
首先,Amazon Kinesis API 端点位于 public IP 地址上,因此您无需在 AWS 环境中拥有 EC2 实例即可访问 Kinesis。
要从Kinesis 读取数据,您可以使用Amazon 自己的Kinesis Client Library (KCL)。 https://github.com/awslabs/amazon-kinesis-client
在 AwsLabs GitHub 上,还有用 Java 编写的示例应用程序。 https://github.com/awslabs/amazon-kinesis-connectors/tree/master/src/main/samples
关于你的架构;如果你想处理原始数据并创建有意义的提取物,我建议你做一些 ETL 任务(又名:post 处理)并将你的结果写入另一个地方(即 RDBMS)。在视图层(您的网络应用程序)上,您可以通过从数据库中读取来以您喜欢的任何格式显示结果输出。