可以使用 pandas file i/o 函数而不是 open/close 正确管理 Luigi 文件目标吗
Can Luigi file targets be properly managed using pandas file i/o functions instead of open/close
我有一个脚本严重依赖 pandas 文件 i/o 函数,例如 read_csv()、to_csv() 等,它们具有许多自定义参数优惠。
这些可以用于本地文件目标的 luigi 管道吗?
我想将它转换为 luigi 管道,但我看到的每个示例都使用 open/close python i/o 和自定义解析。
我听说 luigi 目标对象功能特别依赖于 target.close() 或 'with' 来进行依赖跟踪。
是的。 LocalTarget
可以与任意代码的输出一起使用。文件跟踪依赖于 exists()
方法。 open()
只是一种方便的方法。
我有一个脚本严重依赖 pandas 文件 i/o 函数,例如 read_csv()、to_csv() 等,它们具有许多自定义参数优惠。
这些可以用于本地文件目标的 luigi 管道吗?
我想将它转换为 luigi 管道,但我看到的每个示例都使用 open/close python i/o 和自定义解析。
我听说 luigi 目标对象功能特别依赖于 target.close() 或 'with' 来进行依赖跟踪。
是的。 LocalTarget
可以与任意代码的输出一起使用。文件跟踪依赖于 exists()
方法。 open()
只是一种方便的方法。