Pandas DataFrame能否高效计算PMI（Pointwise Mutual Information）？

Question

我环顾四周，令人惊讶的是，尽管像 Scikit-learn 这样的库提供了整体互信息的度量，但我没有找到一个简单的框架或现有代码来计算点互信息 (Wiki PMI)信息（按直方图）。这是在 Python 和 Pandas!

的上下文中

我的问题：

我有一个 DataFrame，每行包含一系列 [x,y] 示例，并希望根据公式（或更简单的公式）计算一系列 PMI 值：

PMI(x, y) = log( p(x,y) / p(x) * p(y) )

到目前为止我的做法是：

def pmi_func(df, x, y):
    df['freq_x'] = df.groupby(x).transform('count')
    df['freq_y'] = df.groupby(y).transform('count')
    df['freq_x_y'] = df.groupby([x, y]).transform('count')
    df['pmi'] = np.log( df['freq_x_y'] / (df['freq_x'] * df['freq_y']) )

这会提供有效的 and/or 高效计算吗？

样本I/O：

x  y  PMI
0  0  0.176
0  0  0.176
0  1  0

Answer 1

解决方案（也使用 SKlearn KDE 替代方案）：

请评论审核

from sklearn.neighbors.kde import KernelDensity

# pmi function 
def pmi_func(df, x, y):
    freq_x = df.groupby(x).transform('count')
    freq_y = df.groupby(y).transform('count')
    freq_x_y = df.groupby([x, y]).transform('count')
    df['pmi'] = np.log( len(df.index) *  (freq_x_y / (freq_x * freq_y)) )

# pmi with kernel density estimation    
def kernel_pmi_func(df, x, y):
    # reshape data
    x = np.array(df[x])
    y = np.array(df[y])
    x_y = np.stack((x, y), axis=-1)

    # kernel density estimation
    kde_x = KernelDensity(kernel='gaussian', bandwidth=0.1).fit(x[:, np.newaxis])
    kde_y = KernelDensity(kernel='gaussian', bandwidth=0.1).fit(y[:, np.newaxis])
    kde_x_y = KernelDensity(kernel='gaussian', bandwidth=0.1).fit(x_y)

    # score
    p_x = pd.Series(np.exp(kde_x.score_samples(x[:, np.newaxis])))
    p_y = pd.Series(np.exp(kde_y.score_samples(y[:, np.newaxis])))
    p_x_y = pd.Series(np.exp(kde_x_y.score_samples(x_y)))   

    df['pmi'] = np.log( p_x_y / (p_x * p_y) )

Answer 2

我要加三位。

def pmi(dff, x, y):
    df = dff.copy()
    df['f_x'] = df.groupby(x)[x].transform('count')
    df['f_y'] = df.groupby(y)[y].transform('count')
    df['f_xy'] = df.groupby([x, y])[x].transform('count')
    df['pmi'] = np.log(len(df.index) * df['f_xy'] / (df['f_x'] * df['f_y']) )
    return df

df.groupby(x)[x].transform('count') 和 df.groupby(y)[y].transform('count') 应该被使用，这样只有返回计数。
np.log(len(df.index) * df['f_xy'] / (df['f_x'] * df['f_y']) 个使用概率。
处理数据帧的副本，而不是修改输入数据帧。

Pandas DataFrame能否高效计算PMI（Pointwise Mutual Information）？

Can Pandas DataFrame efficiently calculate PMI (Pointwise Mutual Information)?

python

entropy

dataframe

pandas