我如何优化此 pandas 数据框代码

Question

我有一个大型数据框 (resultsDF)，它设置了一种三列索引：[Ticker, Fiscal Year, Fiscal Period] 就像这样

      Ticker  Fiscal Year Fiscal Period  Market Returns       ROI
21        AA         2017            Q3        0.028904  0.006549
23        AA         2019            Q2        0.038022 -0.026191
24        AA         2018            Q3        0.024746 -0.002533
25        AA         2018            Q4       -0.058857  0.004141
26        AA         2019            Q3        0.010057 -0.015065
...      ...          ...           ...             ...       ...
36582    ZTS         2017            Q1        0.056305  0.031115
36583    ZTS         2019            Q1        0.014543  0.028669
36584    ZTS         2018            Q4       -0.058857  0.032013
36585    ZTS         2019            Q4        0.033800  0.033261
36586    ZTS         2020            Q1       -0.041786  0.036693

第一部分：我正在创建一个列 Beat Market (Overall) 来跟踪代码的平均投资回报率是否大于平均 return的市场。由于它跟踪平均值，因此对于整个股票，该新列将是 1 或 0。所以 Beat Market (Overall) 中的每个值对于 AA 可能是 1，而 Beat Market (Overall) 中的每个值对于 ZTS 可能是 0。复杂的是那些 ROI 需要为 each 代码求和，可能使用 groupby 函数，但我不确定如何在这种情况下使用它。

第二部分：我有一个查找数据框 companies，它包含每个代码的行业 ID 信息。我想在不使用循环的情况下将最终数据框中的 Sector 列与每个代码的正确行业 ID 匹配。

问题是运行这个数据集的这段代码太长了，如果我可以对其进行矢量化，它会更快。

这是我要矢量化的循环：

# find if AVG returns for each ticker is greater than AVG returns for market
avg_ror = resultsDF["Market Returns"].unique().mean()

for index, row in resultsDF.iterrows():
    roi = resultsDF[resultsDF["Ticker"] == row["Ticker"]]["ROI"].mean()
    resultsDF.loc[index, "Beat Market (Overall)"] = 1 if roi > avg_ror else 0
    try:
        resultsDF.loc[index, "Sector"] = companies.loc[row["Ticker"]][
            "IndustryId"
        ]  # ["Sector"]
    except:
        pass

最终数据框（减去一些其他列）如下所示：

      Ticker  Fiscal Year Fiscal Period    Sector  Market Returns       ROI  Beat Market (Overall)
21        AA         2017            Q3    110004        0.028904  0.006549                    0.0
23        AA         2019            Q2    110004        0.038022 -0.026191                    0.0
24        AA         2018            Q3    110004        0.024746 -0.002533                    0.0
25        AA         2018            Q4    110004       -0.058857  0.004141                    0.0
26        AA         2019            Q3    110004        0.010057 -0.015065                    0.0
...      ...          ...           ...       ...             ...       ...                    ...
36582    ZTS         2017            Q1  106005.0        0.056305  0.031115                    1.0
36583    ZTS         2019            Q1  106005.0        0.014543  0.028669                    1.0
36584    ZTS         2018            Q4  106005.0       -0.058857  0.032013                    1.0
36585    ZTS         2019            Q4  106005.0        0.033800  0.033261                    1.0
36586    ZTS         2020            Q1  106005.0       -0.041786  0.036693                    1.0

Answer 1

(1) 您可以 groupby 在 Ticker 上找到组均值，transform 并将其与数据框中每个项目的市场 returns 均值进行比较

(2) 您可以使用 .map 方法映射到 companies 数据帧中的 Sector （这里我假设 AA 在扇区 A 并且ZTS 在 B)

resultsDF['Beat Market (Overall)'] = (resultsDF.groupby('Ticker')['ROI'].transform(np.mean) > resultsDF['Market Returns'].unique().mean()).astype(int)
resultsDF['Sector'] = resultsDF['Ticker'].map(companies.set_index('Ticker')['IndustryId'])

输出：

      Ticker  Fiscal Year Fiscal Period  Market Returns    ROI  Beat Market Sector
21        AA         2017            Q3        0.028904  0.006549     0      A
23        AA         2019            Q2        0.038022 -0.026191     0      A
24        AA         2018            Q3        0.024746 -0.002533     0      A
25        AA         2018            Q4       -0.058857  0.004141     0      A
26        AA         2019            Q3        0.010057 -0.015065     0      A
36582    ZTS         2017            Q1        0.056305  0.031115     1      B
36583    ZTS         2019            Q1        0.014543  0.028669     1      B
36584    ZTS         2018            Q4       -0.058857  0.032013     1      B
36585    ZTS         2019            Q4        0.033800  0.033261     1      B
36586    ZTS         2020            Q1       -0.041786  0.036693     1      B

我如何优化此 pandas 数据框代码

How can I optimize this pandas dataframe code

python

optimization

vectorization

pandas