Giraph、Hadoop、Spark 和 Cassandra

Giraph, Hadoop, Spark and Cassandra

如果我有 Spark 集群和 Cassandra 但没有 Hadoop 集群,我可以使用 Giraph 吗?

目前,我正在使用 GraphX 并想改用 Giraph。考虑到我有 Spark 集群并且正在使用 Cassandra,这是否可能?

几年前我对 Giraph 的使用经验有限,而且我从未尝试过在 Hadoop 集群之外使用它。但看起来你想要的东西即使不一定容易,至少在技术上是可行的。

只要您将 Hadoop 作为依赖项来帮助满足 BasicComputation.

的类型边界,code is the companion to Practical Graph Analytics with Apache Giraph. As you can see, it requires Hadoop in the classpath for DoubleWritable and Text, for example, but it does nothing with a Hadoop cluster. Instead, it works with in-memory arrays. It looks like all you need to do is implement compute in the BasicComputation class 就可以使用 Cassandra 做任何您需要的事情

我从来没有发现 Giraph 非常直观,但希望你能使这个非常规的设置工作。