计算数据帧所有行之间的成对欧氏距离
Calculating pairwise Euclidean distance between all the rows of a dataframe
如何计算数据框所有行之间的欧氏距离？我正在尝试这段代码，但它不起作用：
zero_data = data
distance = lambda column1, column2: pd.np.linalg.norm(column1 - column2)
result = zero_data.apply(lambda col1: zero_data.apply(lambda col2: distance(col1, col2)))
result.head()
这是我的（44062 x 278）数据框的样子：
计算数据帧 df 的两行 i 和 j 之间的欧几里德距离：
np.linalg.norm(df.loc[i] - df.loc[j])
在连续的行之间计算它，即 0 和 1、1 和 2、2 和 3，...
np.linalg.norm(df.diff(axis=0).drop(0), axis=1)
如果您想在所有行之间计算它，即 0 和 1、0 和 2、...、1 和 1、1 和 2 ...，那么您必须遍历所有组合i 和 j（请记住，对于 44062 行，有 970707891 个这样的组合，因此使用 for 循环会非常慢）：
import itertools
for i, j in itertools.combinations(df.index, 2):
d_ij = np.linalg.norm(df.loc[i] - df.loc[j])
编辑：
相反，您可以使用 scipy.spatial.distance.cdist 计算两个输入集合中每对之间的距离：
from scipy.spatial.distance import cdist
cdist(df, df, 'euclid')
这将为您 return 您的数据帧的所有行之间的对称（44062 x 44062）欧几里德距离矩阵。问题是你需要大量内存才能工作（至少 8*44062**2 字节内存，即 ~16GB）。
所以更好的选择是使用 pdist
from scipy.spatial.distance import pdist
pdist(df.values, 'euclid')
这将 return df 行之间所有成对欧氏距离的数组（大小为 970707891）。
P.s。不要忘记在距离计算中忽略 'Actual_data' 列。例如。您可以执行以下操作：data = df.drop('Actual_Data', axis=1).values，然后是 cdist(data, data, 'euclid') 或 pdist(data, 'euclid')。您还可以创建另一个数据框，其距离如下：
data = df.drop('Actual_Data', axis=1).values
d = pd.DataFrame(itertools.combinations(df.index, 2), columns=['i','j'])
d['dist'] = pdist(data, 'euclid')
i j dist
0 0 1 ...
1 0 2 ...
2 0 3 ...
3 0 4 ...
...
使用您的数据子集，例如
df_data = [[888888, 3, 0, 0],
[677767, 0, 2, 1],
[212341212, 0, 0, 0],
[141414141414, 0, 0, 0],
[1112224, 0, 0, 0]]
# Creating the data
df = pd.DataFrame(data=data, columns=['Actual_Data', '8,8', '6,6', '7,7'], dtype=np.float64)
# Which looks like
# Actual_Data 8,8 6,6 7,7
# 0 8.888880e+05 3.0 0.0 0.0
# 1 6.777670e+05 0.0 2.0 1.0
# 2 2.123412e+08 0.0 0.0 0.0
# 3 1.414141e+11 0.0 0.0 0.0
# 4 1.112224e+06 0.0 0.0 0.0
# Computing the distance matrix
dist_matrix = df.apply(lambda row: [np.linalg.norm(row.values - df.loc[[_id], :].values, 2) for _id in df.index.values], axis=1)
# Which looks like
# 0 [0.0, 211121.00003315636, 211452324.0, 141413252526.0, 223336.000020149]
# 1 [211121.00003315636, 0.0, 211663445.0, 141413463647.0, 434457.0000057543]
# 2 [211452324.0, 211663445.0, 0.0, 141201800202.0, 211228988.0]
# 3 [141413252526.0, 141413463647.0, 141201800202.0, 0.0, 141413029190.0]
# 4 [223336.000020149, 434457.0000057543, 211228988.0, 141413029190.0, 0.0]
# Reformatting the above into readable format
dist_matrix = pd.DataFrame(
data=dist_matrix.values.tolist(),
columns=df.index.tolist(),
index=df.index.tolist())
# Which gives you
# 0 1 2 3 4
# 0 0.000000e+00 2.111210e+05 2.114523e+08 1.414133e+11 2.233360e+05
# 1 2.111210e+05 0.000000e+00 2.116634e+08 1.414135e+11 4.344570e+05
# 2 2.114523e+08 2.116634e+08 0.000000e+00 1.412018e+11 2.112290e+08
# 3 1.414133e+11 1.414135e+11 1.412018e+11 0.000000e+00 1.414130e+11
# 4 2.233360e+05 4.344570e+05 2.112290e+08 1.414130e+11 0.000000e+00
更新
评论中指出问题是memory overflow所以我们要分批操作这个问题
# Collecting the data
# df = ....
# Set this number to a lower value if you get the same `memory` errors.
batch = 200 # #'s of row's / user's used to compute the matrix
# To be conservative, let's write the intermediate results to file type.
dffname = []
for ifile,_slice in enumerate(np.array_split(range(df.shape[0]), batch)):
# Let's compute distance for `batch` #'s of points in data frame
tmp_df = df.iloc[_slice, :].apply(lambda row: [np.linalg.norm(row.values - df.loc[[_id], :].values, 2) for _id in df.index.values], axis=1)
tmp_df = pd.DataFrame(tmp_df.values.tolist(), index=df.index.values[_slice], columns=df.index.values)
# You can change it from csv to any other files
tmp_df.to_csv(f"{ifile+1}.csv")
dffname.append(f"{ifile+1}.csv")
# Reading back the dataFrames
dflist = []
for f in dffname:
dflist.append(pd.read_csv(f, dtype=np.float64, index_col=0))
res = pd.concat(dflist)
如何计算数据框所有行之间的欧氏距离？我正在尝试这段代码，但它不起作用：
zero_data = data
distance = lambda column1, column2: pd.np.linalg.norm(column1 - column2)
result = zero_data.apply(lambda col1: zero_data.apply(lambda col2: distance(col1, col2)))
result.head()
这是我的（44062 x 278）数据框的样子：
计算数据帧 df 的两行 i 和 j 之间的欧几里德距离：
np.linalg.norm(df.loc[i] - df.loc[j])
在连续的行之间计算它，即 0 和 1、1 和 2、2 和 3，...
np.linalg.norm(df.diff(axis=0).drop(0), axis=1)
如果您想在所有行之间计算它，即 0 和 1、0 和 2、...、1 和 1、1 和 2 ...，那么您必须遍历所有组合i 和 j（请记住，对于 44062 行，有 970707891 个这样的组合，因此使用 for 循环会非常慢）：
import itertools
for i, j in itertools.combinations(df.index, 2):
d_ij = np.linalg.norm(df.loc[i] - df.loc[j])
编辑：
相反，您可以使用 scipy.spatial.distance.cdist 计算两个输入集合中每对之间的距离：
from scipy.spatial.distance import cdist
cdist(df, df, 'euclid')
这将为您 return 您的数据帧的所有行之间的对称（44062 x 44062）欧几里德距离矩阵。问题是你需要大量内存才能工作（至少 8*44062**2 字节内存，即 ~16GB）。 所以更好的选择是使用 pdist
from scipy.spatial.distance import pdist
pdist(df.values, 'euclid')
这将 return df 行之间所有成对欧氏距离的数组（大小为 970707891）。
P.s。不要忘记在距离计算中忽略 'Actual_data' 列。例如。您可以执行以下操作：data = df.drop('Actual_Data', axis=1).values，然后是 cdist(data, data, 'euclid') 或 pdist(data, 'euclid')。您还可以创建另一个数据框，其距离如下：
data = df.drop('Actual_Data', axis=1).values
d = pd.DataFrame(itertools.combinations(df.index, 2), columns=['i','j'])
d['dist'] = pdist(data, 'euclid')
i j dist
0 0 1 ...
1 0 2 ...
2 0 3 ...
3 0 4 ...
...
使用您的数据子集，例如
df_data = [[888888, 3, 0, 0],
[677767, 0, 2, 1],
[212341212, 0, 0, 0],
[141414141414, 0, 0, 0],
[1112224, 0, 0, 0]]
# Creating the data
df = pd.DataFrame(data=data, columns=['Actual_Data', '8,8', '6,6', '7,7'], dtype=np.float64)
# Which looks like
# Actual_Data 8,8 6,6 7,7
# 0 8.888880e+05 3.0 0.0 0.0
# 1 6.777670e+05 0.0 2.0 1.0
# 2 2.123412e+08 0.0 0.0 0.0
# 3 1.414141e+11 0.0 0.0 0.0
# 4 1.112224e+06 0.0 0.0 0.0
# Computing the distance matrix
dist_matrix = df.apply(lambda row: [np.linalg.norm(row.values - df.loc[[_id], :].values, 2) for _id in df.index.values], axis=1)
# Which looks like
# 0 [0.0, 211121.00003315636, 211452324.0, 141413252526.0, 223336.000020149]
# 1 [211121.00003315636, 0.0, 211663445.0, 141413463647.0, 434457.0000057543]
# 2 [211452324.0, 211663445.0, 0.0, 141201800202.0, 211228988.0]
# 3 [141413252526.0, 141413463647.0, 141201800202.0, 0.0, 141413029190.0]
# 4 [223336.000020149, 434457.0000057543, 211228988.0, 141413029190.0, 0.0]
# Reformatting the above into readable format
dist_matrix = pd.DataFrame(
data=dist_matrix.values.tolist(),
columns=df.index.tolist(),
index=df.index.tolist())
# Which gives you
# 0 1 2 3 4
# 0 0.000000e+00 2.111210e+05 2.114523e+08 1.414133e+11 2.233360e+05
# 1 2.111210e+05 0.000000e+00 2.116634e+08 1.414135e+11 4.344570e+05
# 2 2.114523e+08 2.116634e+08 0.000000e+00 1.412018e+11 2.112290e+08
# 3 1.414133e+11 1.414135e+11 1.412018e+11 0.000000e+00 1.414130e+11
# 4 2.233360e+05 4.344570e+05 2.112290e+08 1.414130e+11 0.000000e+00
更新
评论中指出问题是memory overflow所以我们要分批操作这个问题
# Collecting the data
# df = ....
# Set this number to a lower value if you get the same `memory` errors.
batch = 200 # #'s of row's / user's used to compute the matrix
# To be conservative, let's write the intermediate results to file type.
dffname = []
for ifile,_slice in enumerate(np.array_split(range(df.shape[0]), batch)):
# Let's compute distance for `batch` #'s of points in data frame
tmp_df = df.iloc[_slice, :].apply(lambda row: [np.linalg.norm(row.values - df.loc[[_id], :].values, 2) for _id in df.index.values], axis=1)
tmp_df = pd.DataFrame(tmp_df.values.tolist(), index=df.index.values[_slice], columns=df.index.values)
# You can change it from csv to any other files
tmp_df.to_csv(f"{ifile+1}.csv")
dffname.append(f"{ifile+1}.csv")
# Reading back the dataFrames
dflist = []
for f in dffname:
dflist.append(pd.read_csv(f, dtype=np.float64, index_col=0))
res = pd.concat(dflist)