使用 pyspark 使用 regexp_extract 解析字符串

Question

我正在尝试使用正则表达式将字符串拆分为不同的列

下面是我的数据

decodeData = [('M|C705|Exx05','2'),
('M|Exx05','4'),
('M|C705 P|Exx05','6'),        
('M|C705 P|8960 L|Exx05','7'),('M|C705 P|78|8960','9')]

df = sc.parallelize(decodeData).toDF(['Decode',''])

dfNew = df.withColumn('Exx05',regexp_extract(col('Decode'), '(M|P|M)(\|Exx05)', 1)).withColumn('C705',regexp_extract(col('Decode'), '(M|P|M)(\|C705)', 1)) .withColumn('8960',regexp_extract(col('Decode'), '(M|P|M)(\|8960)', 1))
dfNew.show()

Result
+--------------------+---+-----+----+-----+
|              Decode|   |Exx05|C705| 8960|
+--------------------+---+-----+----+-----+
|        M|C705|Exx05 | 2  |     |   M|    |
|             M|Exx05 | 4  |    M|    |    |
|      M|C705 P|Exx05 | 6  |    P|   M|    |
|M|C705 P|8960 L|Exx05| 7  |    M|   M|   P|
|    M|C705 P|78|8960 | 9  |     |   M|    |
+--------------------+---+-----+----+-----+

我在这里尝试提取字符串 Exx05,C705,8960 的代码，这可能属于 M/P/L代码例如：在解码 'M|C705 P|8960 L|Exx05' 时，我希望在各自的列中得到 L M P 的结果。但是我在这里遗漏了一些逻辑，我发现很难破解

预期结果

  +--------------------+---+-----+----+-----+
    |              Decode|   |Exx05|C705| 8960|
    +--------------------+---+-----+----+-----+
    |        M|C705|Exx05 |   |    M|   M|    |
    |             M|Exx05 |   |    M|    |    |
    |      M|C705 P|Exx05 |   |    P|   M|    |
    |M|C705 P|8960 L|Exx05|   |    L|   M|   P|
    |    M|C705 P|78|8960 |   |     |   M|   P|
    +--------------------+---+-----+----+-----+

当我尝试相应地更改 reg 表达式时，它适用于某些情况，但不适用于其他示例情况，这只是我正在处理的实际数据的一个子集。

eg: 1. Exx05可以落在任何代码M/L/P甚至可以落在任何位置，开始，中间，结束等

每个entry/ID一个解码只能属于1个（M或L或P）代码即M|Exx05 P|8960 L| Exx05 - 这里Exx05落在M和L，这种情况不会存在。

Answer 1

您可以在正则表达式中添加 ([^ ])* 来扩展它，以便它匹配任何没有被 space:

分隔的连续模式

dfNew = df.withColumn(
    'Exx05',
    regexp_extract(col('Decode'), '(M|P|L)([^ ])*(\|Exx05)', 1)
).withColumn(
    'C705',
    regexp_extract(col('Decode'), '(M|P|L)([^ ])*(\|C705)', 1)
).withColumn(
    '8960',
    regexp_extract(col('Decode'), '(M|P|L)([^ ])*(\|8960)', 1)
)

dfNew.show(truncate=False)
+---------------------+---+-----+----+----+
|Decode               |   |Exx05|C705|8960|
+---------------------+---+-----+----+----+
|M|C705|Exx05         |2  |M    |M   |    |
|M|Exx05              |4  |M    |    |    |
|M|C705 P|Exx05       |6  |P    |M   |    |
|M|C705 P|8960 L|Exx05|7  |L    |M   |P   |
|M|C705$P|78|8960     |9  |     |M   |P   |
+---------------------+---+-----+----+----+

Answer 2

我们使用 X(?=Y) 也称为 lookahead assertion 呢？这确保我们仅在 X 后跟 Y

时匹配

from pyspark.sql.functions import*
dfNew = df.withColumn('Exx05',regexp_extract(col('Decode'), '([A-Z](?=\|Exx05))', 1)).withColumn('C705',regexp_extract(col('Decode'), '([A-Z](?=\|C705))', 1)) .withColumn('8960',regexp_extract(col('Decode'), '([A-Z]+(?=\|[0-9]|8960))', 1))
dfNew.show()

+--------------------+---+-----+----+----+
|              Decode|  t|Exx05|C705|8960|
+--------------------+---+-----+----+----+
|        M|C705|Exx05|  2|     |   M|    |
|             M|Exx05|  4|    M|    |    |
|      M|C705 P|Exx05|  6|    P|   M|    |
|M|C705 P|8960 L|E...|  7|    L|   M|   P|
|    M|C705 P|78|8960|  9|     |   M|   P|
+--------------------+---+-----+----+----+

使用 pyspark 使用 regexp_extract 解析字符串

Parsing string using regexp_extract using pyspark

regex

string

pattern-matching

apache-spark

pyspark