尝试从 apache ignite context 的 sharedRDD 检索数据

Question

我正在尝试将 apache ignite 与 spark 集成，我是 apache ignite 的新手。我想在分布式缓存中保存数据并检索它。

我通过在 spark 中加载文件并尝试使用 Apache Ignite 的 sharedRDD.savePairs(key,value) 保存在缓存中创建了一个数据框。键是字符串类型，值是火花数据帧类型。现在我想检索存储的数据并打印出来。我什至不确定它是否真的用类型数据框保存。

Answer 1

要从 RDD 检索数据，您至少可以利用以下一种方式：

1) sharedRDD.filter(...).collect() 方法。例如，下面的代码从名为 "testCache"

的缓存中获取包含单词 "river" 的所有值

val cache = igniteContext.fromCache("testCache")
val result = cache.filter(_._2.contains("river")).collect()

2) sharedRDD.sql(...) 方法。

val cacheRdd = igniteContext.fromCache("personsCache")
val result = cacheRdd.sql(
  "select name from Person where id > ? and id < ?", 10, 100)

Trying to retrieve data from sharedRDD of apache ignite context