Databricks- 将 Python DataFrame 转换为 Scala DataFrame
Databricks- Convert Python DataFrame to Scala DataFrame
我在 python、df 中有一个数据框，我想传递它以便能够在 % scala 中使用。
我试过了-
%python
pyDf.createOrReplaceTempView("testDF") // error message
用spark.sql查询即可：
val scalaDf = spark.sql("select * from testDF")
不是太难。我正在分享示例代码，请尝试。它在 Pycharm 或数据块中工作。
来自 pyspark.sql 导入 *
导入 pandas 作为 pd
spark = SparkSession.builder.master("local").appName("testing").getOrCreate()
数据 = [['venu', 50], ['renu', 45], ['anu', 54],['bhanu',14]]
创建 pandas 数据框
pdf= pd.DataFrame(数据，列 = ['Name', 'Age'])
打印(pdf)
Python Pands 转换为 Spark Dataframe。
sparkDF=spark.createDataFrame(pdf)
sparkDF.printSchema()
sparkDF.show()
我在 python、df 中有一个数据框，我想传递它以便能够在 % scala 中使用。
我试过了-
%python
pyDf.createOrReplaceTempView("testDF") // error message
用spark.sql查询即可：
val scalaDf = spark.sql("select * from testDF")
不是太难。我正在分享示例代码，请尝试。它在 Pycharm 或数据块中工作。
来自 pyspark.sql 导入 *
导入 pandas 作为 pd
spark = SparkSession.builder.master("local").appName("testing").getOrCreate()
数据 = [['venu', 50], ['renu', 45], ['anu', 54],['bhanu',14]]
创建 pandas 数据框
pdf= pd.DataFrame(数据，列 = ['Name', 'Age'])
打印(pdf)
Python Pands 转换为 Spark Dataframe。
sparkDF=spark.createDataFrame(pdf)
sparkDF.printSchema()
sparkDF.show()