从 PySpark 覆盖 Cassandra table 时出错

Question

我正在尝试使用 PySpark 数据框覆盖 cassandra 中的数据。我收到此错误：关键字不能是表达式

我可以通过 df.write.format("org.apache.spark.sql.cassandra").options(keyspace="ks",table="testtable").mode("append").save()

但是，覆盖会抛出错误 df.write.format("org.apache.spark.sql.cassandra").options(keyspace="ks",table="testtable", confirm.truncate="true").mode("overwrite").save()

错误：关键字不能是表达式

Answer 1

我找到了解决方案。

df.write.format("org.apache.spark.sql.cassandra")
.mode("overwrite").option("confirm.truncate","true")
.options(keyspace="ks",table="testtable")
.save()