PySpark 创建 CSV 不起作用,仅 _SUCCESS 文件
PySpark creating CSV does not work, _SUCCESS file only
这可能是一个愚蠢的问题,但我才刚刚开始学习 spark,现在我面临着我的第一个问题,我无法通过书本和 google...
我正在使用 Zeppelin 并尝试使用服务器日志进行一些分析。
我的 df 看起来像:
现在我想使用以下代码将其保存为 CSV 文件:
df_reduced.write.format("csv").mode("overwrite").save("/home/hduser/tmp")
而且我总是得到一个新的 _SUCCESS 文件,但没有 CSV:
我做错了什么?
提前致谢。
我可以用
解决
df_pd = df_reduced.toPandas()
df_pd.to_csv("test.csv")
但这感觉有点像解决方法。
如果没有 Pandas.
,我将很乐意提出如何解决它的任何建议
这可能是一个愚蠢的问题,但我才刚刚开始学习 spark,现在我面临着我的第一个问题,我无法通过书本和 google...
我正在使用 Zeppelin 并尝试使用服务器日志进行一些分析。
我的 df 看起来像:
现在我想使用以下代码将其保存为 CSV 文件:
df_reduced.write.format("csv").mode("overwrite").save("/home/hduser/tmp")
而且我总是得到一个新的 _SUCCESS 文件,但没有 CSV:
我做错了什么?
提前致谢。
我可以用
解决df_pd = df_reduced.toPandas()
df_pd.to_csv("test.csv")
但这感觉有点像解决方法。
如果没有 Pandas.
,我将很乐意提出如何解决它的任何建议