如何转置 pyspark 数据框?
How do I transpose a pyspark dataframe?
Parameter
Value
Data_type
window
1024
Data1
noverlap
256
Data1
ylim_min
0
Data1
ylim_max
500
Data1
mag_min
0
Data1
max_max
30
Data1
window
2500
Data2
noverlap
64
Data2
ylim_min
0
Data2
ylim_max
50
Data2
mag_min
0
Data2
mag_max
2500
Data2
如何转置此 pyspark 数据框,例如:
它几乎与 pandas 数据帧相同
设数据框为df
pivotdf= df.groupBy("Data_Type").pivot("Parameter").sum("Value")
pivotdf.show()
在这里,我们通过对列 Data_Type
进行分组来旋转列 Parameter
Parameter | Value | Data_type |
---|---|---|
window | 1024 | Data1 |
noverlap | 256 | Data1 |
ylim_min | 0 | Data1 |
ylim_max | 500 | Data1 |
mag_min | 0 | Data1 |
max_max | 30 | Data1 |
window | 2500 | Data2 |
noverlap | 64 | Data2 |
ylim_min | 0 | Data2 |
ylim_max | 50 | Data2 |
mag_min | 0 | Data2 |
mag_max | 2500 | Data2 |
如何转置此 pyspark 数据框,例如:
它几乎与 pandas 数据帧相同
设数据框为df
pivotdf= df.groupBy("Data_Type").pivot("Parameter").sum("Value")
pivotdf.show()
在这里,我们通过对列 Data_Type
Parameter