Cassandra 中的分布式日志
Distributed logs in Cassandra
我正在寻找在 Cassandra 中存储应用程序日志的方法。
我有三个节点设置(节点 1、节点 2 和节点 3),其中我的 Web 应用程序在所有三个节点中作为集群运行并进行负载平衡,因此将从所有节点生成日志。
Cassandra 在所有三个节点中运行,日志从所有三个 Web 应用程序转储到每天分区的 Cassandra 集群中。
这种方法的问题:
1) 我正在使用我的网络应用程序将数据写入 Cassandra。
2)每天分区,数据量很大
那么有更好的方法吗?
这是好的设计方法吗?
在 Cassandra 中存储日志的选择值得商榷;因为对该数据的分析变得困难但可行。 ELK (Elastic-Logstash-Kibana) 或 Splunk 是更受欢迎的日志分析选择,因为它们具有原生 "text" 搜索支持和仪表板。
说了这么多,还是看看手头的问题吧
1) I am using my web application to write the data to Cassandra.
我想到的建议是:
- 写入是异步完成的吗?推荐。
- 这些写入过程中使用的一致性级别是多少?一致性越高,Web 应用程序将变得越慢,因为它在 C* 上等待的时间越长(假设同步写入)。记住 C* 仍然可以有 RF = 3,但你可以做一致性 = 1。
- 如果 C* 集群出现故障会怎样?网络应用程序会随之下降吗?
2) For every day partition, the amount of data is very high
- 这里有两个问题 - 胖分区和同一节点一整天都被命中(导致热点)。工作负载未分配到整个集群。
- 分区大小可以减少到每小时而不是全天。但我们只是将一个节点被击中的足迹从一天减少到一个小时。它仍然是一个小时的热点。
- 您可以进行 "second" 级分区,以在节点之间实现数据的均匀分布,而不会造成巨大的分区(取决于应用程序的繁琐程度)。但这就是 C* 用于日志监控的优点受到质疑的地方吗?
- C* 可以解决哪些查询?我如何聚合二级数据分区并回答典型日志分析中出现的各种问题?
重新审视设计,此 C* 数据库必须回答哪些日志分析问题(查询)?答案应该自动排列。
我正在寻找在 Cassandra 中存储应用程序日志的方法。
我有三个节点设置(节点 1、节点 2 和节点 3),其中我的 Web 应用程序在所有三个节点中作为集群运行并进行负载平衡,因此将从所有节点生成日志。
Cassandra 在所有三个节点中运行,日志从所有三个 Web 应用程序转储到每天分区的 Cassandra 集群中。
这种方法的问题:
1) 我正在使用我的网络应用程序将数据写入 Cassandra。
2)每天分区,数据量很大
那么有更好的方法吗?
这是好的设计方法吗?
在 Cassandra 中存储日志的选择值得商榷;因为对该数据的分析变得困难但可行。 ELK (Elastic-Logstash-Kibana) 或 Splunk 是更受欢迎的日志分析选择,因为它们具有原生 "text" 搜索支持和仪表板。
说了这么多,还是看看手头的问题吧
1) I am using my web application to write the data to Cassandra.
我想到的建议是:
- 写入是异步完成的吗?推荐。
- 这些写入过程中使用的一致性级别是多少?一致性越高,Web 应用程序将变得越慢,因为它在 C* 上等待的时间越长(假设同步写入)。记住 C* 仍然可以有 RF = 3,但你可以做一致性 = 1。
- 如果 C* 集群出现故障会怎样?网络应用程序会随之下降吗?
2) For every day partition, the amount of data is very high
- 这里有两个问题 - 胖分区和同一节点一整天都被命中(导致热点)。工作负载未分配到整个集群。
- 分区大小可以减少到每小时而不是全天。但我们只是将一个节点被击中的足迹从一天减少到一个小时。它仍然是一个小时的热点。
- 您可以进行 "second" 级分区,以在节点之间实现数据的均匀分布,而不会造成巨大的分区(取决于应用程序的繁琐程度)。但这就是 C* 用于日志监控的优点受到质疑的地方吗?
- C* 可以解决哪些查询?我如何聚合二级数据分区并回答典型日志分析中出现的各种问题?
重新审视设计,此 C* 数据库必须回答哪些日志分析问题(查询)?答案应该自动排列。