创建空的 Spark 数据框并添加任意值

Question

我创建了一个空数据框，然后尝试向该数据框添加列和值。

Dataset<Row> runMetadata = sparkSession.emptyDataFrame();
runMetadata = runMetadata.withColumn("record_count", lit(count));
runMetadata = 
         runMetadata.withColumn("start_time",lit(currTimestamp));
runMetadata.show();

count 很长，currTimestamp 是时间戳。

但是 'runMetadata.show()' 只显示列名而不显示值。 此外，我正在尝试将此数据框保存在 bigquery 中，也没有附加任何值，而且我在日志中也没有看到任何错误。

Answer 1

当您使用 withColumn 时，您正在定义一个将应用于 DataFrame 的所有行的转换。您的 DataFrame 没有行，因此没有行应用新列。

如果您想要一个只有一行的 DataFrame，您可以使用来自 SparkSession 的 createDataFrame 方法创建它，传递一个只有一个元素的列表。