如何使用 Java 在 Dataset Spark 中过滤列和删除行
How to filter a Column and delete a Row in Dataset Spark using Java
我需要过滤数据集以搜索特殊字符并删除找到它的行。
我尝试用“ ”替换特殊字符，但也没用。
Dataset<row> dataset;
dataset.withColumn("nameColumn", function.regex_replace(dataset.col("nameColumn"), "[^\p{ASCII}]", ""));
您可以过滤它们：
filitered_ds = dataset.where(!col("nameColumn").rlike("[^\p{ASCII}]"))
我需要过滤数据集以搜索特殊字符并删除找到它的行。 我尝试用“ ”替换特殊字符，但也没用。
Dataset<row> dataset;
dataset.withColumn("nameColumn", function.regex_replace(dataset.col("nameColumn"), "[^\p{ASCII}]", ""));
您可以过滤它们：
filitered_ds = dataset.where(!col("nameColumn").rlike("[^\p{ASCII}]"))