Giraph、Hadoop、Spark 和 Cassandra
Giraph, Hadoop, Spark and Cassandra
如果我有 Spark 集群和 Cassandra 但没有 Hadoop 集群,我可以使用 Giraph 吗?
目前,我正在使用 GraphX 并想改用 Giraph。考虑到我有 Spark 集群并且正在使用 Cassandra,这是否可能?
几年前我对 Giraph 的使用经验有限,而且我从未尝试过在 Hadoop 集群之外使用它。但看起来你想要的东西即使不一定容易,至少在技术上是可行的。
只要您将 Hadoop 作为依赖项来帮助满足 BasicComputation
.
的类型边界,code is the companion to Practical Graph Analytics with Apache Giraph. As you can see, it requires Hadoop in the classpath for DoubleWritable
and Text
, for example, but it does nothing with a Hadoop cluster. Instead, it works with in-memory arrays. It looks like all you need to do is implement compute
in the BasicComputation
class 就可以使用 Cassandra 做任何您需要的事情
我从来没有发现 Giraph 非常直观,但希望你能使这个非常规的设置工作。
如果我有 Spark 集群和 Cassandra 但没有 Hadoop 集群,我可以使用 Giraph 吗?
目前,我正在使用 GraphX 并想改用 Giraph。考虑到我有 Spark 集群并且正在使用 Cassandra,这是否可能?
几年前我对 Giraph 的使用经验有限,而且我从未尝试过在 Hadoop 集群之外使用它。但看起来你想要的东西即使不一定容易,至少在技术上是可行的。
只要您将 Hadoop 作为依赖项来帮助满足 BasicComputation
.
DoubleWritable
and Text
, for example, but it does nothing with a Hadoop cluster. Instead, it works with in-memory arrays. It looks like all you need to do is implement compute
in the BasicComputation
class 就可以使用 Cassandra 做任何您需要的事情
我从来没有发现 Giraph 非常直观,但希望你能使这个非常规的设置工作。