在 pyspark 2.4 中使用 Regex 时出现 ParseException 错误

Question

我试图只获取 colADD 包含非字母数字字符的那些行。

代码：

from pyspark.sql import SparkSession
spark = SparkSession \
     .builder \
     .appName("Test") \
     .getOrCreate()

data = spark.read.csv("Customers");



data.registerTempTable("data");
spark.sql("SELECT colADD from data WHERE colADD REGEXP '^[A-Za-z0-9]+$'; ");

错误：

pyspark.sql.utils.ParseException: u"\nextraneous input ';' 
expecting <EOF>(line 1, pos 56)\n\n== SQL ==\nSELECT CNME from data WHERE CNME REGEXP '^[A-Za-z0-9]+$';

请帮忙，我是不是漏了什么。

Answer 1

注意使用了 pyspark - 但是删除 ; 怎么样 - 似乎不需要。

Answer 2

spark used this

spark.sql("SELECT col2 from test WHERE col2 REGEXP '^[A-Za-z0-9]*\-' ").show

在 pyspark 2.4 中使用 Regex 时出现 ParseException 错误

ParseException Error using Regex in pyspark 2.4

apache-spark

pyspark

pyspark-sql

pyspark-dataframes