python pandas 筛选并聚合多列并写入 CSV

Question

我想读取 CSV 文件并计算/聚合多列

我输入的数据如下

unique_identifier,date,flag1,flag2,flag3
a1,7/1/2017,FALSE,TRUE,FALSE
a2,7/1/2017,FALSE,TRUE,FALSE
a3,7/1/2017,FALSE,TRUE,FALSE
a4,7/1/2017,TRUE,FALSE,FALSE
a5,7/1/2017,FALSE,FALSE,FALSE
a6,7/2/2017,FALSE,FALSE,TRUE
a7,7/2/2017,FALSE,FALSE,TRUE
a8,7/2/2017,FALSE,TRUE,FALSE
q9,7/2/2017,FALSE,TRUE,TRUE

我是 pandas 的新手，到目前为止，通过阅读这里的各种问题，我似乎需要使用 set_index()、.append()、.join()、 .agg()

我有单独的结果，但无法获得我想要的新结果。

import pandas as pd

df = pd.read_csv("flagdata.csv")

print (df["date"].value_counts())


df_flag1 = df[df.flag1 == True]
df_flag1  = df_flag1["date"].value_counts()
print (df_flag1)

df_flag2 = df[df.flag2 == True]
df_flag2 = df_flag2["date"].value_counts()
print (df_flag2)


df_flag3 = df[df.flag3 == True]
df_flag3 = df_flag3["date"].value_counts()
print (df_flag3)

我想获取每个日期的真标志计数，以创建具有以下结果的新 csv 文件 - 日期、总计数、flag1 真实计数、flag2 真实计数、flag3 真实计数

date,count,flag1,flag2,flag3
7/1/2017,5,1,3,0
7/2/2017,4,0,2,3

Answer 1

您需要按日期对行进行分组并对标志进行计数和求和：

result = pd.concat([df.groupby('date').count()['flag1'],
                    df.groupby('date').sum()], 
                    axis=1).astype(int)
result.columns = ['count'] + result.columns[1:].tolist() 
#          count  flag1  flag2  flag3
#date                                
#7/1/2017      5      1      3      0
#7/2/2017      4      0      2      3

result.to_csv('output.csv')

Answer 2

groupby() 并创建了新的计数字段 reset_index 作为 "count" 然后在第二个 df groupby 中为所有 True sum

df1= df.groupby("date")["date"].count().reset_index(name="count")
df2= df.groupby("date").sum().astype(int).reset_index()
df3 = pd.merge(df1,df2, on="date")
df3.to_csv("output.csv",index=False)

python pandas 筛选并聚合多列并写入 CSV

python pandas filter and aggregate multiple columns and write into CSV

python

pandas

pandas-groupby