pandas read_csv 在运行通过 Mac OS 上的 cron 时不工作

Question

我有一个 python 脚本，由 cron 运行编写。该脚本导入 pandas 模块并使用 read_csv 将 csv 加载到数据框，然后将其保存到另一个 csv。 'apath' 是文件的绝对路径：

statedata_raw=pd.read_csv(apath+'statedata.csv')
statedata_raw.to_csv(apath+'state_data.csv',index=False)

csv 文件的权限设置正确-rwxr-xr-x

当我在命令行中运行时，一切正常。当我通过 cron 运行它时，我收到以下错误：

Traceback (most recent call last):
  File "/users/maderman/wdtest.py", line 21, in <module>
    statedata_raw=pd.read_csv(apath+'statedata.csv')
  File "/opt/miniconda3/lib/python3.7/site-packages/pandas/io/parsers.py", line 676, in parser_f
    return _read(filepath_or_buffer, kwds)
  File "/opt/miniconda3/lib/python3.7/site-packages/pandas/io/parsers.py", line 448, in _read
    parser = TextFileReader(fp_or_buf, **kwds)
  File "/opt/miniconda3/lib/python3.7/site-packages/pandas/io/parsers.py", line 880, in __init__
    self._make_engine(self.engine)
  File "/opt/miniconda3/lib/python3.7/site-packages/pandas/io/parsers.py", line 1114, in _make_engine
    self._engine = CParserWrapper(self.f, **self.options)
  File "/opt/miniconda3/lib/python3.7/site-packages/pandas/io/parsers.py", line 1891, in __init__
    self._reader = parsers.TextReader(src, **kwds)
  File "pandas/_libs/parsers.pyx", line 374, in pandas._libs.parsers.TextReader.__cinit__
  File "pandas/_libs/parsers.pyx", line 678, in pandas._libs.parsers.TextReader._setup_parser_source
OSError: Initializing from file failed

我通过替换 read_csv 验证了 pandas 本身正在加载并且 to_csv 正在工作。当我用以下代码替换 read_csv 以手动创建数据框时，一切正常，运行ning 在命令行中，运行ning 在 cron 中：

cat=['a','a','a','a','a','b','b','b','b','b']
val=[1,2,3,4,5,6,7,8,9,10]
columns=['cat','val']
data=[cat,val]
dict={key:value for key,value in zip(columns,data)}
statedata_raw=pd.DataFrame(data=dict)

我发现另一个 post 建议将参数 engine='python' 传递给 read_csv，但没有任何作用。

所以我知道：

cron 正在运行ning python 正常
它可以导入 pandas 和运行几个不同的 pandas 函数。
文件权限没问题

这个问题似乎与 read_csv 命令特别相关。

如有任何建议，我们将不胜感激。

Answer 1

这个问题的框架是错误的，归结为权限问题。在这里发布并回答了一个更好的问题：

pandas read_csv 在运行通过 Mac OS 上的 cron 时不工作

pandas read_csv not working when running via cron on Mac OS

python

csv

cron

pandas

oserror

pandas read_csv 在 运行 通过 Mac OS 上的 cron 时不工作

pandas read_csv not working when running via cron on Mac OS

python

csv

cron

pandas

oserror

pandas read_csv 在运行通过 Mac OS 上的 cron 时不工作