如何将 withcolumn 方法与基于多个条件的过滤器一起使用？

Question

我是 Pyspark 新手

我有这段代码：

df2 = df.withColumn("VALUE", F.when(col('DIFF') < -900000, None).otherwise(col('VALUE')))

是否可以在 when 子句中添加另一个条件，例如：

df2 = df.withColumn("VALUE", F.when(col('DIFF') < -900000 | col('DIFF') > 900000, None).otherwise(col('VALUE')))

但是，这会抛出一个方法不存在的错误。

有什么想法吗？

提前致谢。

Answer 1

像这样：

df2 = df.withColumn("VALUE", F.when((col('DIFF') < -900000 ) | (col('DIFF') > 900000), None).otherwise(col('VALUE')))

How to use the withcolumn method with a filter based on more than condition?