SparkR - 将数据帧转换为 Vector/list

Question

谁能告诉我，我们是否可以在 SparkR 中将数据框转换为列表。我知道 collect() 函数可以帮助您做到这一点。但是，当我们使用大量数据时，这是不可取的。在 python/Scala 中，有一个名为 local Iterator() 的函数，它将数据框转换为列表。我在 SparkR 中苦苦挣扎。谁能帮忙！

Answer 1

不幸的是 collect() 是最好的方法。您也可以尝试：saveAsTextFile 但那样的话您可能无法获得全部数据。