Java sparkSQL - 数据集查找问题

Question

一直在努力解决这个问题 我有数据集#1 personInfo

---------------------------
|field_1 |field_2|field_3|...
-----------------
|personID|  DoB  |intAge |...

---

DataSet#2 年龄代码

-----------------
|field_1|field_2|
-----------------
|  age  |ageCode|
-----------------
|  35   |  6    |
-----------------
|  36   |  6    |
-----------------
|  37   |  6    |
-----------------
|  38   |  7    |
-----------------
|  39   |  7    |
-----------------
|  40   |  7    |
-----------------

我正在尝试用 ageCode

更新 personInfo 行

personInfo = personInfo.withColumn("ageCode", 
  ageCodes.filter(col("age").equalTo(personInfo.col("intAge"))).col("ageCode")
);

已经尝试了上述的几种变体，但似乎不太正确

感谢收到的任何帮助

Answer 1

您想使用连接：

personInfo = personInfo.join(ageCodes, ageCodes.col("age").equalTo(personInfo.col("intAge")), "left").drop("age");