转换数据帧列值并应用 SHA2 屏蔽逻辑
convert dataframe column values and apply SHA2 masking logic
我有一个包含来自 Hive 的 属性 table 和主要 table 的数据框。我想删除列，然后应用屏蔽逻辑 (SHA2)。
在 Spark/scala 作业中作为 Dataframe 从 postgre DB 读取 属性 配置。
val propertydf = loading the property dataframe from postgre db
主蜂巢table
输出应该是
谁能帮我在Spark/Scala写个代码。我无法转换 List[String] 并将其传递给数据框配置中的函数。
您可以适当地操作列名和 select 它们：
val masking = propertydf.head(1)(0).getAs[String]("maskingcolumns").split(",")
val exclude = propertydf.head(1)(0).getAs[String]("columnstoexclude").split(",")
val result = df.select(
masking.map(c => sha2(col(c).cast("string"), 256).as(c)) ++
df.columns.filterNot(c => masking.contains(c) || exclude.contains(c)).map(col)
:_*
)
result.show(false)
+----------------------------------------------------------------+----------------------------------------------------------------+---+---+
|a |b |c |d |
+----------------------------------------------------------------+----------------------------------------------------------------+---+---+
|ba7816bf8f01cfea414140de5dae2223b00361a396177a9cb410ff61f20015ad|6b86b273ff34fce19d6b804eff5a3f5747ada4eaa22f1d49c01e52ddb7875b4b|11 |cbc|
+----------------------------------------------------------------+----------------------------------------------------------------+---+---+
我有一个包含来自 Hive 的 属性 table 和主要 table 的数据框。我想删除列，然后应用屏蔽逻辑 (SHA2)。
在 Spark/scala 作业中作为 Dataframe 从 postgre DB 读取 属性 配置。
val propertydf = loading the property dataframe from postgre db
主蜂巢table
输出应该是
谁能帮我在Spark/Scala写个代码。我无法转换 List[String] 并将其传递给数据框配置中的函数。
您可以适当地操作列名和 select 它们：
val masking = propertydf.head(1)(0).getAs[String]("maskingcolumns").split(",")
val exclude = propertydf.head(1)(0).getAs[String]("columnstoexclude").split(",")
val result = df.select(
masking.map(c => sha2(col(c).cast("string"), 256).as(c)) ++
df.columns.filterNot(c => masking.contains(c) || exclude.contains(c)).map(col)
:_*
)
result.show(false)
+----------------------------------------------------------------+----------------------------------------------------------------+---+---+
|a |b |c |d |
+----------------------------------------------------------------+----------------------------------------------------------------+---+---+
|ba7816bf8f01cfea414140de5dae2223b00361a396177a9cb410ff61f20015ad|6b86b273ff34fce19d6b804eff5a3f5747ada4eaa22f1d49c01e52ddb7875b4b|11 |cbc|
+----------------------------------------------------------------+----------------------------------------------------------------+---+---+