如何在突触分析（Microsoft azure）中读取 spark_df 作为数据框？

Question

如何在突触分析 (Microsoft azure) 中读取 spark_df 作为数据框，以便我可以在笔记本中使用 pandas 的必要代码？

spark_df = spark.createDataFrame(filtered_df)
spark_df.write.mode("overwrite").saveAsTable("default.NYC_Taxi")

现在我想读取 table 作为数据框。我尝试了以下代码：

new_df = NYC_Taxi.to_pandas_dataframe()

错误：

NameError : name 'nyc_taxi' is not defined
Traceback (most recent call last):
NameError: name 'nyc_taxi' is not defined

Answer 1

您可以使用这样的代码：

spark_df = spark.createDataFrame(filtered_df)

new_df = spark_df.select("*").toPandas()