我如何 select 在 Kedro CSVLocalDataSet 中加载哪些列？

Question

我有一个 csv 文件看起来像

a,b,c,d
1,2,3,4
5,6,7,8

并且我想将其作为 Kedro CSVLocalDataSet 加载，但我不想读取整个文件。我只想要几列（例如 a 和 b）。

我有什么方法可以将列列表指定为 read/load？

Answer 1

CSVLocalDataSet 使用 pandas.read_csv，它采用 "usecols" 参数。它可以很容易地通过使用 load_args 数据集参数进行代理（所有数据集都支持通过 load_args 和 save_args 传递的附加参数）：

my_cool_data:
  type: CSVLocalDataSet
  filepath: data/path.csv
  load_args: 
    usecols: ['a', 'b']

另请注意，相同的参数适用于任何基于 pandas 的数据集。