在同一数据框中迭代比较列值

Question

我的最终目标是摆脱重叠的基因。为此，我确定了三个条件，但我不会详细说明它们。如果您需要那些提供替代方法，我可以提及它们。

基本上，我想比较两列的值 (int64)。但是，我想这样做的方式是将单行与所有剩余行进行比较，如果满足条件，则应按顺序对下一行和其他行执行相同的步骤。

我需要检查数据框中的每一行是否满足给定条件。在此过程中，我需要使用两列（“开始”和“结束”）的值。您可以在下面的伪代码中看到其中一个条件。

如果满足以下条件，我想删除该行 (DF2.loc[row_loop]) 或创建一个新列并分配一个标签，使我能够了解是否有重叠与否。然后，我可以删除那些行。

条件：

(rowA ["Start"] >= rowB ["Start"]) and (rowA ["Start"] <= rowB ["End"]) and (rowA ["End"] >= rowB [ "开始"]) 和 (行 A ["结束"] >= 行 B ["结束"])

这就是我的数据框的样子：

DF2.head()

	Chromosome_Name	Sequence_Source	Sequence_Feature	Start	End	Strand	Gene_ID
0	1	ensembl_havana	gene	14363	34806	-	"ENSG00000227232"
1	1	havana	gene	89295	138566	-	"ENSG00000238009"
2	1	havana	gene	141474	178862	-	"ENSG00000241860"
3	1	havana	gene	227615	272253	-	"ENSG00000228463"
4	1	ensembl_havana	gene	312720	453948	+	"ENSG00000237094"

这就是我目前所拥有的：

for ref_row in range(0, len(DF2) - 1):
   for row_loop in range(ref_row + 1, len(DF2)):
     if (DF2.loc[ref_row, ["Start"]] >= DF2.loc[row_loop, ["Start"]]) & (DF2.loc[ref_row, ["Start"]] <= DF2.loc[row_loop, ["End"]]) & (DF2.loc[ref_row, ["End"]] >=  DF2.loc[row_loop, ["Start"]]) & (DF2.loc[ref_row, ["End"]] >= DF2.loc[row_loop, ["End"]]):
        DF2.drop(row_loop)

在运行上面的代码之后，我得到一个 ValueError，它说“只能比较相同标记的系列对象。”

我还将 if 条件替换为：

DF2["Overlap"] = np.where((DF2.loc[ref_row, ["Start"]] >= DF2.loc[row_loop, ["Start"]]) & (DF2.loc[ref_row, ["Start"]] <= DF2.loc[row_loop, ["End"]]) & (DF2.loc[ref_row, ["End"]] >=  DF2.loc[row_loop, ["Start"]]) & (DF2.loc[ref_row, ["End"]] >= DF2.loc[row_loop, ["End"]]), np.nan, DF2["Gene_Name"])

但仍然得到相同的 ValueError。

任何人都可以为我提供解决方案或其他方法来达到我的 objective 吗？

提前致谢。

顺便说一句，对不起我的英语。我很难通过写作来解释我的目的，希望你明白了。

Answer 1

根据您的演示数据和代码：

构建测试数据框（这应该包含在以后的问题中）

DF2 = {
'Chromosome_Name': [1, 1, 1, 1, 1], 
'Sequence_Source': ['ensembl_havana', 'havana', 'havana', 'havana', 'ensembl_havana'], 
'Sequence_Feature': ['gene', 'gene', 'gene', 'gene', 'gene'], 
'Start': [14363, 89295, 141474, 227615, 312720], 
'End': [34806, 138566, 178862, 272253, 453948], 
'Strand': ['-', '-', '-', '-', '+'],
'Gene_ID': ['ENSG00000227232', 'ENSG00000238009', 'ENSG00000241860', 'ENSG00000228463', 'ENSG00000237094']
}

指定重叠的行

DF2["Overlap"] = False # create column to track overlap
for ref_row in range(0, len(DF2)-1):
    for row_loop in range(ref_row+1, len(DF2)):
        # update overlap to true, does not allow revert to False
        if DF2.loc[ref_row]["Overlap"] != False:
            DF2[ref_row]["Overlap"] = np.where(
                (DF2.loc[ref_row]["Start"] >= DF2.loc[row_loop]["Start"]) & \
                (DF2.loc[ref_row]["Start"] <= DF2.loc[row_loop]["End"]) & \
                (DF2.loc[ref_row]["End"] >=  DF2.loc[row_loop]["Start"]) & \
                (DF2.loc[ref_row]["End"] >= DF2.loc[row_l]["End"])
            )

我从条件中删除了 np.nan 和 DF2["Gene_Name"] 以简化。在当前条件下，没有发现重叠。您可能希望将条件分解为两部分：

A在B里面吗？
B 在 A 里面吗？

您遇到的错误是由于.loc.

使用不当造成的

DF2.loc[2, ["Start"]]
Out: 
Start    141474
Name: 2, dtype: object

DF2.loc[2]["Start"]
Out: 141474

在同一数据框中迭代比较列值

Compare columns values iteratively in the same dataframe

python

compare

bioinformatics

dataframe

pandas