我怎样才能写这个以使用更少的内存?

How can I write this to use less memory?

我遇到一个问题,我试图在 Apache Airflow 中执行某些任务。

问题是内存非常有限,执行此 pandas 行会导致它驱逐任务并将其归类为使用过多内存。

有没有办法在不对这 2 个数据帧使用尽可能多的内存的情况下以另一种方式执行此操作?

arct_df = arct_df[~arct_df.im_uuid.isin(dadge_df.im_uuid)]

arct_df 的样本并假设 dadge_df 具有相同的列,只是行中的数据不同。

您不应该将 Airflow 用作数据处理框架,如果有机会,该操作很可能 运行 在数据库上更好。

查看气流 best practices