如何在 PySpark 中创建一个 returns 字符串数组的 udf？
How to create a udf in PySpark which returns an array of strings?
我有一个 udf，其中 returns 一个字符串列表。这不应该太难。我在执行 udf 时传入了数据类型，因为它 returns 一个字符串数组：ArrayType(StringType)。
现在，不知何故这不起作用：
我正在操作的数据框是 df_subsets_concat，看起来像这样：
df_subsets_concat.show(3,False)
+----------------------+
|col1 |
+----------------------+
|oculunt |
|predistposed |
|incredulous |
+----------------------+
only showing top 3 rows
代码是
from pyspark.sql.types import ArrayType, FloatType, StringType
my_udf = lambda domain: ['s','n']
label_udf = udf(my_udf, ArrayType(StringType))
df_subsets_concat_with_md = df_subsets_concat.withColumn('subset', label_udf(df_subsets_concat.col1))
结果是
/usr/lib/spark/python/pyspark/sql/types.py in __init__(self, elementType, containsNull)
288 False
289 """
--> 290 assert isinstance(elementType, DataType), "elementType should be DataType"
291 self.elementType = elementType
292 self.containsNull = containsNull
AssertionError: elementType should be DataType
据我了解，这是执行此操作的正确方法。这里有一些资源：
但是这些都没有帮助我解决为什么这不起作用。我正在使用 pyspark 1.6.1.
如何在 pyspark 中创建一个 returns 字符串数组的 udf？
您需要初始化一个 StringType 实例：
label_udf = udf(my_udf, ArrayType(StringType()))
# ^^
df.withColumn('subset', label_udf(df.col1)).show()
+------------+------+
| col1|subset|
+------------+------+
| oculunt|[s, n]|
|predistposed|[s, n]|
| incredulous|[s, n]|
+------------+------+
我有一个 udf，其中 returns 一个字符串列表。这不应该太难。我在执行 udf 时传入了数据类型，因为它 returns 一个字符串数组：ArrayType(StringType)。
现在，不知何故这不起作用：
我正在操作的数据框是 df_subsets_concat，看起来像这样：
df_subsets_concat.show(3,False)
+----------------------+
|col1 |
+----------------------+
|oculunt |
|predistposed |
|incredulous |
+----------------------+
only showing top 3 rows
代码是
from pyspark.sql.types import ArrayType, FloatType, StringType
my_udf = lambda domain: ['s','n']
label_udf = udf(my_udf, ArrayType(StringType))
df_subsets_concat_with_md = df_subsets_concat.withColumn('subset', label_udf(df_subsets_concat.col1))
结果是
/usr/lib/spark/python/pyspark/sql/types.py in __init__(self, elementType, containsNull)
288 False
289 """
--> 290 assert isinstance(elementType, DataType), "elementType should be DataType"
291 self.elementType = elementType
292 self.containsNull = containsNull
AssertionError: elementType should be DataType
据我了解，这是执行此操作的正确方法。这里有一些资源：
但是这些都没有帮助我解决为什么这不起作用。我正在使用 pyspark 1.6.1.
如何在 pyspark 中创建一个 returns 字符串数组的 udf？
您需要初始化一个 StringType 实例：
label_udf = udf(my_udf, ArrayType(StringType()))
# ^^
df.withColumn('subset', label_udf(df.col1)).show()
+------------+------+
| col1|subset|
+------------+------+
| oculunt|[s, n]|
|predistposed|[s, n]|
| incredulous|[s, n]|
+------------+------+