合并熊猫数据框：选择较小的绝对值

Question

我有两个熊猫数据框：

数据框A：

date        ticker  return
2017-01-03  CRM     0.018040121229614625
2017-01-03  MSFT    -0.0033444816053511683
2017-01-04  CRM     0.024198086662915008
2017-01-04  MSFT    -0.0028809218950064386
2017-01-05  CRM     -0.0002746875429199269
2017-01-05  MSFT    0.0017687731146487362

数据框 B：

date        ticker  return
2017-01-03  CRM     0.018040120991250852
2017-01-03  MSFT    -0.003344466975803595
2017-01-04  CRM     0.024198103213211475
2017-01-04  MSFT    -0.0028809268004892363
2017-01-05  CRM     -0.00027464144673694513
2017-01-05  MSFT    0.0017687829680113065

现在我需要第三个 'consolidated' 数据框：

相同的列名
对于每一行，我必须从 DataframeA 或 DataframeB 中选择绝对值较小的 'return' 数据

有什么建议吗？

Answer 1

您可以使用 concat 加入两个 dataframe，然后使用 groupby 按 ticker 分组并获得每组的最小值：

df3=pd.concat([df1,df2]).groupby('ticker').min().reset_index()

Answer 2

这是使用可运行代码编辑的新答案

即使行数不相等，以下代码也能正常工作。它将首先获取两个数据帧上的公共行，然后为所需的列找到正确的值

import numpy as np
import pandas as pd

## creating dummy data to get runable code
## ---------------------------------------
n_rows = 20
sub_categories = np.random.choice(4, size=n_rows)
dic1 = {
    "a": list(range(n_rows)),
    "b": sub_categories,
    "c": np.random.randn(n_rows)
}

dic2 = {
    "a": range(n_rows),
    "b": sub_categories,
    "c": np.random.randn(n_rows)
}

df1 = pd.DataFrame(dic1)
df1.drop(index=list(np.random.choice(n_rows, 5, replace=False)), inplace=True)

df2 = pd.DataFrame(dic2)
df2.drop(index=list(np.random.choice(n_rows, 3, replace=False)), inplace=True)




## Main Answer
## ---------------------------------------------------------


## merge df1 and df2 then create new column c based which take min(abs(c_1, c_2))

result = df1.merge(df2, how="inner", on=["a","b"], suffixes=["_1", "_2"]).copy()
result["c"] = result["c_1"].where(np.abs(result["c_1"])<np.abs(result["c_2"]), 
                                   result["c_2"], axis=0)
display(result)

## finally reindex to remove extra columns
result = result.reindex(columns=["a","b","c"])
result

旧答案

你可以像下面那样做

series = df1["return"].where(np.abs(df1["return"])<np.abs(df2["return"]), df2["return"], axis=0)
series

如果 return 的绝对值小于 df2 中的同一行，它将 return 连续值从 df1 中获取的系列，否则它将从 df2

中获取值

然后您可以替换 df1 或 df2 的列或它们的副本以获得您想要的数据框

df1["return"] = series

Answer 3

尝试 concat+groupby return 和 return min 与 key=abs :

(pd.concat((A,B),ignore_index=True)
   .groupby(['date','ticker'])['return'].min(key=abs).reset_index())

         date ticker    return
0  2017-01-03    CRM  0.018040
1  2017-01-03   MSFT -0.003344
2  2017-01-04    CRM  0.024198
3  2017-01-04   MSFT -0.002881
4  2017-01-05    CRM -0.000275
5  2017-01-05   MSFT  0.001769

合并熊猫数据框：选择较小的绝对值

Consolidating panda dataframes: Choose the smaller absolute value

python

python-3.x

pandas

dataframe

absolute-value