spark dataframe 是否像 pandas 这样的每一行都有一个 "row name"?
Does spark dataframe have a "row name" for each row like pandas?
我正在尝试使用 Spark DataFrames 对按行名称索引的两个 DataFrame 进行操作。在 pandas 中,我们可以做到
df.loc(['aIndex', 'anotherIndex'])
到 select df 中的两行按索引(或行名)。如何在 Spark DataFrame 中实现这一点?谢谢。
不,Spark 中没有行索引。 Spark Data Frames 更像是关系数据库中的表,所以如果你想访问特定的行,你必须过滤:
df = sqlContext.createDataFrame(
[("Bob", 5), ("Alice", 6), ("Chuck", 4)], ("name", "age"))
df.where("name in ('Bob', 'Alice')")
df.where((df.name == "Bob") | (df.name == "Alice"))
我正在尝试使用 Spark DataFrames 对按行名称索引的两个 DataFrame 进行操作。在 pandas 中,我们可以做到
df.loc(['aIndex', 'anotherIndex'])
到 select df 中的两行按索引(或行名)。如何在 Spark DataFrame 中实现这一点?谢谢。
不,Spark 中没有行索引。 Spark Data Frames 更像是关系数据库中的表,所以如果你想访问特定的行,你必须过滤:
df = sqlContext.createDataFrame(
[("Bob", 5), ("Alice", 6), ("Chuck", 4)], ("name", "age"))
df.where("name in ('Bob', 'Alice')")
df.where((df.name == "Bob") | (df.name == "Alice"))