如果两列之间的值 "overlap" 则混洗 pandas DataFrame 行

Question

我有以下 pandas 数据框

import numpy as np
import pandas as pd

df = pd.DataFrame({"first_element":[20, 125, 156, 211, 227, 220, 230, 472, 4765], "second_element":[35, 145, 178, 233, 321, 234, 231, 498, 8971], "next":[0.32, 0.04, 0.59, 0.103, 0.37, 0.92, 0.81, 0.24, 0.77]})
df = df[["first_element", "second_element", "next"]]

print(df)
### print(df) outputs:
    first_element  second_element   next
0             20              35  0.320
1            125             145  0.040
2            156             178  0.590
3            211             233  0.103
4            227             321  0.370
5            220             234  0.920
6            230             231  0.810
7            472             498  0.240
8           4765            8971  0.770

在此 DataFrame 中，每一行都被视为 "interval" 沿实线 [first_element, second_element]，例如20 到 35、125 到 145。

如果我希望根据两列对 df 进行排序，我会使用 .sort_values()，即

sorted_df = df.sort_values(["first_element", "second_element"], ascending=[True, False])

输出

print(sorted_df)
    first_element  second_element   next
0             20              35  0.320
1            125             145  0.040
2            156             178  0.590
3            211             233  0.103
5            220             234  0.920
4            227             321  0.370
6            230             231  0.810
7            472             498  0.240
8           4765            8971  0.770

有几个区间intersect/overlap，即[211, 233], [220, 234], [227, 321], [230, 231]。因为 [230, 231] 是 [211, 233] 的子集，所以有几种方法可以对这两个进行排序。

我的目标是 (1) 编写一个函数，找到所有重叠的 "intervals"（两列 first_element 和 second_element 中的值）和 (2) 随机打乱这些间隔.

目标 (2) 听起来很棘手，因为需要分别 shuffle/re-order 多个 "groups" 重叠间隔。例如，假设我们的数据框更大，并且具有以下重叠间隔：

[211, 233], [220, 234], [227, 321], [230, 231], [5550, 5879], [5400, 5454]

我想分别重新洗牌 [211, 233], [220, 234], [227, 321], [230, 231] 和 [5550, 5879], [5400, 5454]，而不是混淆重叠区间的子集。

有几种方法可以使用 pandas 随机排列行，例如按索引随机播放

def shuffle_by_index(df):
    index = list(df.index)
    random.shuffle(index)
    df = df.ix[index]
    df.reset_index()
    return df

或使用sklearn

import sklearn.utils
shuffled = sklearn.utils.shuffle(df)
df = df.reset_index(drop=True)

但是 (1) 如何以 pythonic/pandas 的方式搜索所有重叠间隔，以及 (2) 我如何 select 这些重叠间隔的子集并仅单独洗牌？

Answer 1

这不是解决问题的最佳方法，但可以提供您想要的结果。我已经为你留下了第二部分。

import numpy as np
import pandas as pd

df = pd.DataFrame({"first_element":[20, 125, 156, 211, 227, 220, 230, 472, 4765], "second_element":[35, 145, 178, 233, 321, 234, 231, 498, 8971], "next":[0.32, 0.04, 0.59, 0.103, 0.37, 0.92, 0.81, 0.24, 0.77]})
df = df[["first_element", "second_element", "next"]]

sorted_df = df.sort_values(["first_element", "second_element"], ascending=[True, False])
sorted_df.reset_index(0, inplace = True)

prev_min = sorted_df.first_element.iloc[0]
prev_max = sorted_df.second_element.iloc[0]

labels = []
label_counter = 1
labels.append(label_counter)

for rowIndex in xrange(1, sorted_df.shape[0]):
    row = sorted_df.iloc[rowIndex]

    if row.first_element > prev_max:
        # totally different interval, may be overlapping interval
        prev_min = row.first_element
        prev_max = row.second_element
        label_counter += 1
        labels.append(label_counter)
    elif row.first_element >= prev_min:
        prev_max = max(prev_max, row.second_element)
        labels.append(label_counter)

sorted_df['overlapping_index'] = labels

# group sorted_df by overlapping index, and randomly select the save interval group

如果两列之间的值 "overlap" 则混洗 pandas DataFrame 行

Shuffling pandas DataFrame rows if the values "overlap" between two columns

sorting

pandas

dataframe

intersection

overlap