可以使用 pandas file i/o 函数而不是 open/close 正确管理 Luigi 文件目标吗

Can Luigi file targets be properly managed using pandas file i/o functions instead of open/close

我有一个脚本严重依赖 pandas 文件 i/o 函数,例如 read_csv()、to_csv() 等,它们具有许多自定义参数优惠。

这些可以用于本地文件目标的 luigi 管道吗?

我想将它转换为 luigi 管道,但我看到的每个示例都使用 open/close python i/o 和自定义解析。

我听说 luigi 目标对象功能特别依赖于 target.close() 或 'with' 来进行依赖跟踪。

是的。 LocalTarget 可以与任意代码的输出一起使用。文件跟踪依赖于 exists() 方法。 open() 只是一种方便的方法。