Pandas

Question

我正在尝试使用现有的 DataFrame 并附加一个新列。

假设我有这个 DataFrame（只是一些随机数）：

    a           b           c            d          e
0   2.847674    0.890958    -1.785646   -0.648289   1.178657
1   -0.865278   0.696976    1.522485    -0.248514   1.004034
2   -2.229555   -0.037372   -1.380972   -0.880361   -0.532428
3   -0.057895   -2.193053   -0.691445   -0.588935   -0.883624

我想创建一个新列 'f'，将每一行乘以一个 'costs' 向量，例如 [1,0,0,0,0]。因此，对于第 0 行，f 列的输出应为 2.847674。

这是我目前使用的功能：

def addEstimate (df, costs): 
   row_iterator = df.iterrows()

   for i, row in row_iterator:
      df.ix[i, 'f'] = np.dot(costs, df.ix[i])

我正在使用一个 15 元素向量，超过 20k 行，我发现这非常慢（半小时）。我怀疑使用 iterrows 和 ix 效率低下，但我不确定如何纠正这个问题。

有没有一种方法可以一次性将其应用于整个 DataFrame，而不是遍历行？或者您有其他加快速度的建议吗？

Answer 1

您可以使用 df['f'] = df.dot(costs) 创建新列。

dot 已经是一个 DataFrame 方法：将它作为一个整体应用于 DataFrame 比遍历 DataFrame 并将 np.dot 应用于单个行要快得多。

例如：

>>> df # an example DataFrame
    a   b   c   d   e
0   0   1   2   3   4
1  12  13  14  15  16
2  24  25  26  27  28
3  36  37  38  39  40

>>> costs = [1, 0, 0, 0, 2]
>>> df['f'] = df.dot(costs)
>>> df
    a   b   c   d   e    f
0   0   1   2   3   4    8
1  12  13  14  15  16   44
2  24  25  26  27  28   80
3  36  37  38  39  40  116

Answer 2

Pandas 也有点函数。有

df['dotproduct'] = df.dot(costs)

做你想做的事？

Pandas - 使用每行中元素的点积创建新的 DataFrame 列

Pandas - Create new DataFrame column using dot product of elements in each row

python

vectorization

dataframe

dot-product