使用数据块更改 dataFrame 中 JSON 文件的最终结构?
Changing final structure of JSON file in a dataFrame using databricks?
我在 python 中使用 Databricks 将 JSON 文件的最终结构更改为数据帧。
要在 Databricks 中阅读它,可以使用:
df = sqlContext.sql("SELECT * FROM people")
在使用 Jupyter notebook 时,您可以通过以下方式轻松完成:
df = spark.read.json('people.json', schema = final_struc)
但是它在数据块中是如何工作的?
有时您应该添加文件所在的路径名,这样它才能正常工作。喜欢
df = spark.read.json('FileStore/Something/people.json', schema = final_struc)
希望这有效。
我在 python 中使用 Databricks 将 JSON 文件的最终结构更改为数据帧。 要在 Databricks 中阅读它,可以使用:
df = sqlContext.sql("SELECT * FROM people")
在使用 Jupyter notebook 时,您可以通过以下方式轻松完成:
df = spark.read.json('people.json', schema = final_struc)
但是它在数据块中是如何工作的?
有时您应该添加文件所在的路径名,这样它才能正常工作。喜欢
df = spark.read.json('FileStore/Something/people.json', schema = final_struc)
希望这有效。