字典中的 Spark 数据框

Question

我正在尝试从字典中创建一个 spark 数据框，该字典中的数据格式为

{'33_45677': 0, '45_3233': 25, '56_4599': 43524} .. etc. 

dict_pairs={'33_45677': 0, '45_3233': 25, '56_4599': 43524}
df=spark.createDataFrame(data=dict_pairs)

它抛出：

TypeError: can not infer schema for type: <class 'str'>

是不是因为字典的键值有下划线？

Answer 1

使用方括号“[]”将字典括起来。这不是因为你的钥匙里有 _。

dict_pairs={'33_45677': 0, '45_3233': 25, '56_4599': 43524}
df=spark.createDataFrame(data=[dict_pairs])
df.show()

或

dict_pairs=[{'33_45677': 0, '45_3233': 25, '56_4599': 43524}]
df=spark.createDataFrame(data=dict_pairs)
df.show()