pandas dataframe 如何从基于其他列的列表单元格中删除值

Question

我有一个包含 2 列的数据框，代表一个列表：

a. b.  vals.        locs
1. 2. [1,2,3,4,5].  [2,3]
5  1. [1,7,2,4,9].  [0,1]
8. 2. [1,9,4,7,8].  [3]

我想，对于每一行，从列 vals 中排除 locs 中的所有位置。所以我会得到：

a. b.  vals.        locs.   new_vals
1. 2. [1,2,3,4,5].  [2,3].  [1,2,5]
5  1. [1,7,2,4,9].  [0,1].  [2,4,9]
8. 2. [1,9,4,7,8].  [3].    [1,9,4,8]

最好的方法是什么？

谢谢！

Answer 1

将列表理解与 enumerate 结合使用并将值转换为 sets:

df['new_vals'] = [[z for i, z in enumerate(x) if i not in y]
                              for x, y in zip(df['vals'], df['locs'].apply(set))]
print (df)
   a  b             vals    locs      new_vals
0  1  2  [1, 2, 3, 4, 5]  [2, 3]     [1, 2, 5]
1  5  1  [1, 7, 2, 4, 9]  [0, 1]     [2, 4, 9]
2  8  2  [1, 9, 4, 7, 8]     [3]  [1, 9, 4, 8]

Answer 2

您可以使用基于 enumerate:

的内部过滤器的列表理解

df['new_vals'] = [[v for i,v in enumerate(a) if i not in b]
                  for a,b in zip(df['vals'], df['locs'])]

然而，当 b 变大时，这将很快变得低效。

更好的方法是使用 python sets 来实现快速（O(1) 复杂度）成员识别：

df['new_vals'] = [[v for i,v in enumerate(a) if i not in S]
                  for a,b in zip(df['vals'], df['locs']) for S in [set(b)]]

输出：

   a  b             vals    locs      new_vals
0  1  2  [1, 2, 3, 4, 5]  [2, 3]     [1, 2, 5]
1  5  1  [1, 7, 2, 4, 9]  [0, 1]     [2, 4, 9]
2  8  2  [1, 9, 4, 7, 8]     [3]  [1, 9, 4, 8]

Answer 3

一种方法是创建一个适用于行的函数，

def func(row):
    ans = [v for v in row['vals'] if row['vals'].index(v) not in row['locs']]
    return ans

使用 apply 为每一行调用此函数。

df['new_value'] = df.apply(func, axis=1)

如果列表很短，这会很有效。

pandas dataframe 如何从基于其他列的列表单元格中删除值

pandas dataframe how to remove values from cell that is a list based on other column

dataframe

pandas

data-science

data-munging