ParserError: Error tokenizing data. C error: Expected 7 fields in line 4, saw 10 error in reading csv file pandas
ParserError: Error tokenizing data. C error: Expected 7 fields in line 4, saw 10 error in reading csv file pandas
我正在尝试使用 pandas
读取 csv 文件
df1 = pd.read_csv('panda_error.csv', header=None, sep=',')
但是我收到这个错误：
ParserError: Error tokenizing data. C error: Expected 7 fields in line 4, saw 10
为了可重复性，这里是 csv 文件 panda_error.csv
superkingdom:Bacteria , phylum:Actinobacteria , class:Actinobacteria , order:Corynebacteriales , family:Corynebacteriaceae , genus:Corynebacterium , species:Corynebacterium efficiens 1
superkingdom:Bacteria , phylum:Proteobacteria , class:Alphaproteobacteria , order:Rhizobiales , family:Aurantimonadaceae , genus:Aurantimonas , species:Aurantimonas manganoxydans 1
superkingdom:Bacteria , phylum:Proteobacteria , subphylum:delta/epsilon subdivisions , class:Deltaproteobacteria , no rank:unclassified Deltaproteobacteria , genus:Candidatus Entotheonella 1
superkingdom:Bacteria , phylum:Proteobacteria , class:Gammaproteobacteria , order:Pseudomonadales , family:Pseudomonadaceae , genus:Pseudomonas , species group:Pseudomonas syringae group , species subgroup:Pseudomonas syringae group genomosp. 2 , species:Pseudomonas amygdali , no rank:Pseudomonas amygdali pv. tabaci 1
superkingdom:Bacteria , phylum:Actinobacteria , class:Actinobacteria , order:Corynebacteriales , family:Nocardiaceae , genus:Rhodococcus , species:Rhodococcus wratislaviensis 1
superkingdom:Bacteria , phylum:Firmicutes , class:Clostridia , order:Clostridiales , family:Peptostreptococcaceae , genus:Peptoclostridium , species:Peptoclostridium difficile1
我不太确定为什么会发生这种情况以及如何解决这个问题。其他答案只是建议 1. 使用我不想做的 error_bad_lines=False 忽略令人不安的行，或者 2. 特定于某些场景。
如果对您有帮助，请查看完整的错误信息：
---------------------------------------------------------------------------
ParserError Traceback (most recent call last)
<ipython-input-34-72c0ecaf0513> in <module>
----> 1 df1 = pd.read_csv('panda_error.csv', header=None, sep=',')
/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, skipfooter, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, cache_dates, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, doublequote, escapechar, comment, encoding, dialect, error_bad_lines, warn_bad_lines, delim_whitespace, low_memory, memory_map, float_precision)
683 )
684
--> 685 return _read(filepath_or_buffer, kwds)
686
687 parser_f.__name__ = name
/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in _read(filepath_or_buffer, kwds)
461
462 try:
--> 463 data = parser.read(nrows)
464 finally:
465 parser.close()
/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in read(self, nrows)
1152 def read(self, nrows=None):
1153 nrows = _validate_integer("nrows", nrows)
-> 1154 ret = self._engine.read(nrows)
1155
1156 # May alter columns / col_dict
/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in read(self, nrows)
2057 def read(self, nrows=None):
2058 try:
-> 2059 data = self._reader.read(nrows)
2060 except StopIteration:
2061 if self._first_chunk:
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.read()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_rows()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._tokenize_rows()
pandas/_libs/parsers.pyx in pandas._libs.parsers.raise_parser_error()
ParserError: Error tokenizing data. C error: Expected 7 fields in line 4, saw 10
This solution 为我工作
### Loop the data lines
with open("panda_error.csv", 'r') as temp_f:
# get No of columns in each line
col_count = [ len(l.split(",")) for l in temp_f.readlines() ]
### Generate column names (names will be 0, 1, 2, ..., maximum columns - 1)
column_names = [i for i in range(0, max(col_count))]
### Read csv
df = pd.read_csv("panda_error.csv", header=None, delimiter=",", names=column_names)
Pandas是一个处理表格数据的工具。
这意味着每行应包含相同数量的字段。
在 CSV 输入的情况下，还有一个要求，即字段
每行的顺序应 相同 .
但是您的输入文件实际上无法同时满足这两个要求。
前 2 行（可能还有大多数其他行）有 7 个字段：
超级王国, 门, class, 秩序、科、属和种。
第三行包含：
超级王国, 门, 亚门, class、无等级和属。
所以：
- 有附加 字段（亚门 和无等级），
- 您没有像 order、family 和 species.[=122 这样的字段=]
这不会导致read_csv失败，只是因为字段数
不超过前几行的字段数（总共有 6 个字段）。
但真正的问题在第 4 行，那里有 10 个字段。
所以"ordinary"read_csv在这里绝不是什么好的选择。
即使您设置的列数足以读取所有行，
属性将 "scattered" 以一种难以阅读的方式排列在列中。
任何基于列名分析此类数据的尝试也将失败，
因为每一列在不同的行中会有不同的信息。
还有一个问题是，用逗号分隔的数据将包含例如
超级王国：细菌，即：
- 应该是列（属性）的文本名称,
- 一个冒号，
- 实际值。
要克服这些问题，请尝试另一种方法来读取您的输入文件：
读取您的输入文件，使用 read_csv，但作为 单个
列（sep 设置为未使用的字符）。
df = pd.read_csv('input.csv', sep='|', names=['col1'])
下一步，生成一个DataFrame，可以通过
程序是 extractall（需要 import re）：
df2 = df.col1.str.extractall(
r'(?P<name>[A-Z ]+[A-Z]):(?P<value>[A-Z /]+[A-Z])', flags=re.I)\
.reset_index(level=1, drop=True)
如果您不熟悉正则表达式，请阅读一些相关内容。
结果是一个包含 2 列的 DataFrame：
- name - 属性名称，例如超级王国,
- value - 属性值，例如细菌.
索引与 df 中的相同 - 它是源行号，从 0.
开始
对于您的示例数据，结果如下：
name value
0 superkingdom Bacteria
0 phylum Actinobacteria
0 class Actinobacteria
0 order Corynebacteriales
0 family Corynebacteriaceae
0 genus Corynebacterium
0 species Corynebacterium efficiens
1 superkingdom Bacteria
1 phylum Proteobacteria
1 class Alphaproteobacteria
1 order Rhizobiales
1 family Aurantimonadaceae
1 genus Aurantimonas
1 species Aurantimonas manganoxydans
2 superkingdom Bacteria
2 phylum Proteobacteria
2 subphylum delta/epsilon subdivisions
2 class Deltaproteobacteria
2 no rank unclassified Deltaproteobacteria
2 genus Candidatus Entotheonella
3 superkingdom Bacteria
3 phylum Proteobacteria
3 class Gammaproteobacteria
3 order Pseudomonadales
3 family Pseudomonadaceae
3 genus Pseudomonas
3 species group Pseudomonas syringae group
3 species subgroup Pseudomonas syringae group genomosp
3 species Pseudomonas amygdali
3 no rank Pseudomonas amygdali pv
4 superkingdom Bacteria
4 phylum Actinobacteria
4 class Actinobacteria
4 order Corynebacteriales
4 family Nocardiaceae
4 genus Rhodococcus
4 species Rhodococcus wratislaviensis
5 superkingdom Bacteria
5 phylum Firmicutes
5 class Clostridia
5 order Clostridiales
5 family Peptostreptococcaceae
5 genus Peptoclostridium
5 species Peptoclostridium difficile
如果您希望将这些数据作为 table 转换每个 name
到相应的列，运行:
df3 = df2.set_index('name', append=True).unstack(fill_value='')
df3.columns = df3.columns.droplevel()
看看结果，我认为它比
任何其他尝试。
为了将列名作为实际名称（不是数字），我改进了代码：（使用适合您的情况的分隔符，我的是 '\t'）
with open("file.csv", 'r') as temp_f:
# get No of columns in each line
col_count = [ len(l.split("\t")) for l in temp_f.readlines() ]
### Generate column names (names will be 0, 1, 2, ..., maximum columns - 1)
column_names = [i for i in range(0, max(col_count))]
### Read csv
df = pd.read_csv("file.csv", header=None, delimiter="\t",
names=column_names)
col_names = list(df.iloc[0])
df = pd.read_csv("file.csv", header=None, delimiter="\t", names=col_names)
df.drop(0, inplace=True); df.reset_index(drop=True, inplace=True)
df
我正在尝试使用 pandas
读取csv 文件
df1 = pd.read_csv('panda_error.csv', header=None, sep=',')
但是我收到这个错误：
ParserError: Error tokenizing data. C error: Expected 7 fields in line 4, saw 10
为了可重复性，这里是 csv 文件 panda_error.csv
superkingdom:Bacteria , phylum:Actinobacteria , class:Actinobacteria , order:Corynebacteriales , family:Corynebacteriaceae , genus:Corynebacterium , species:Corynebacterium efficiens 1
superkingdom:Bacteria , phylum:Proteobacteria , class:Alphaproteobacteria , order:Rhizobiales , family:Aurantimonadaceae , genus:Aurantimonas , species:Aurantimonas manganoxydans 1
superkingdom:Bacteria , phylum:Proteobacteria , subphylum:delta/epsilon subdivisions , class:Deltaproteobacteria , no rank:unclassified Deltaproteobacteria , genus:Candidatus Entotheonella 1
superkingdom:Bacteria , phylum:Proteobacteria , class:Gammaproteobacteria , order:Pseudomonadales , family:Pseudomonadaceae , genus:Pseudomonas , species group:Pseudomonas syringae group , species subgroup:Pseudomonas syringae group genomosp. 2 , species:Pseudomonas amygdali , no rank:Pseudomonas amygdali pv. tabaci 1
superkingdom:Bacteria , phylum:Actinobacteria , class:Actinobacteria , order:Corynebacteriales , family:Nocardiaceae , genus:Rhodococcus , species:Rhodococcus wratislaviensis 1
superkingdom:Bacteria , phylum:Firmicutes , class:Clostridia , order:Clostridiales , family:Peptostreptococcaceae , genus:Peptoclostridium , species:Peptoclostridium difficile1
我不太确定为什么会发生这种情况以及如何解决这个问题。其他答案只是建议 1. 使用我不想做的 error_bad_lines=False 忽略令人不安的行，或者 2. 特定于某些场景。
如果对您有帮助，请查看完整的错误信息：
---------------------------------------------------------------------------
ParserError Traceback (most recent call last)
<ipython-input-34-72c0ecaf0513> in <module>
----> 1 df1 = pd.read_csv('panda_error.csv', header=None, sep=',')
/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, skipfooter, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, cache_dates, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, doublequote, escapechar, comment, encoding, dialect, error_bad_lines, warn_bad_lines, delim_whitespace, low_memory, memory_map, float_precision)
683 )
684
--> 685 return _read(filepath_or_buffer, kwds)
686
687 parser_f.__name__ = name
/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in _read(filepath_or_buffer, kwds)
461
462 try:
--> 463 data = parser.read(nrows)
464 finally:
465 parser.close()
/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in read(self, nrows)
1152 def read(self, nrows=None):
1153 nrows = _validate_integer("nrows", nrows)
-> 1154 ret = self._engine.read(nrows)
1155
1156 # May alter columns / col_dict
/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in read(self, nrows)
2057 def read(self, nrows=None):
2058 try:
-> 2059 data = self._reader.read(nrows)
2060 except StopIteration:
2061 if self._first_chunk:
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.read()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_rows()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._tokenize_rows()
pandas/_libs/parsers.pyx in pandas._libs.parsers.raise_parser_error()
ParserError: Error tokenizing data. C error: Expected 7 fields in line 4, saw 10
This solution 为我工作
### Loop the data lines
with open("panda_error.csv", 'r') as temp_f:
# get No of columns in each line
col_count = [ len(l.split(",")) for l in temp_f.readlines() ]
### Generate column names (names will be 0, 1, 2, ..., maximum columns - 1)
column_names = [i for i in range(0, max(col_count))]
### Read csv
df = pd.read_csv("panda_error.csv", header=None, delimiter=",", names=column_names)
Pandas是一个处理表格数据的工具。 这意味着每行应包含相同数量的字段。 在 CSV 输入的情况下，还有一个要求，即字段 每行的顺序应 相同 .
但是您的输入文件实际上无法同时满足这两个要求。
前 2 行（可能还有大多数其他行）有 7 个字段： 超级王国, 门, class, 秩序、科、属和种。
第三行包含： 超级王国, 门, 亚门, class、无等级和属。 所以：
- 有附加 字段（亚门 和无等级），
- 您没有像 order、family 和 species.[=122 这样的字段=]
这不会导致read_csv失败，只是因为字段数 不超过前几行的字段数（总共有 6 个字段）。
但真正的问题在第 4 行，那里有 10 个字段。
所以"ordinary"read_csv在这里绝不是什么好的选择。 即使您设置的列数足以读取所有行， 属性将 "scattered" 以一种难以阅读的方式排列在列中。
任何基于列名分析此类数据的尝试也将失败， 因为每一列在不同的行中会有不同的信息。
还有一个问题是，用逗号分隔的数据将包含例如 超级王国：细菌，即：
- 应该是列（属性）的文本名称,
- 一个冒号，
- 实际值。
要克服这些问题，请尝试另一种方法来读取您的输入文件：
读取您的输入文件，使用 read_csv，但作为 单个 列（sep 设置为未使用的字符）。
df = pd.read_csv('input.csv', sep='|', names=['col1'])下一步，生成一个DataFrame，可以通过 程序是 extractall（需要 import re）：
df2 = df.col1.str.extractall( r'(?P<name>[A-Z ]+[A-Z]):(?P<value>[A-Z /]+[A-Z])', flags=re.I)\ .reset_index(level=1, drop=True)
如果您不熟悉正则表达式，请阅读一些相关内容。
结果是一个包含 2 列的 DataFrame：
- name - 属性名称，例如超级王国,
- value - 属性值，例如细菌.
索引与 df 中的相同 - 它是源行号，从 0.
开始对于您的示例数据，结果如下：
name value
0 superkingdom Bacteria
0 phylum Actinobacteria
0 class Actinobacteria
0 order Corynebacteriales
0 family Corynebacteriaceae
0 genus Corynebacterium
0 species Corynebacterium efficiens
1 superkingdom Bacteria
1 phylum Proteobacteria
1 class Alphaproteobacteria
1 order Rhizobiales
1 family Aurantimonadaceae
1 genus Aurantimonas
1 species Aurantimonas manganoxydans
2 superkingdom Bacteria
2 phylum Proteobacteria
2 subphylum delta/epsilon subdivisions
2 class Deltaproteobacteria
2 no rank unclassified Deltaproteobacteria
2 genus Candidatus Entotheonella
3 superkingdom Bacteria
3 phylum Proteobacteria
3 class Gammaproteobacteria
3 order Pseudomonadales
3 family Pseudomonadaceae
3 genus Pseudomonas
3 species group Pseudomonas syringae group
3 species subgroup Pseudomonas syringae group genomosp
3 species Pseudomonas amygdali
3 no rank Pseudomonas amygdali pv
4 superkingdom Bacteria
4 phylum Actinobacteria
4 class Actinobacteria
4 order Corynebacteriales
4 family Nocardiaceae
4 genus Rhodococcus
4 species Rhodococcus wratislaviensis
5 superkingdom Bacteria
5 phylum Firmicutes
5 class Clostridia
5 order Clostridiales
5 family Peptostreptococcaceae
5 genus Peptoclostridium
5 species Peptoclostridium difficile
如果您希望将这些数据作为 table 转换每个 name 到相应的列，运行:
df3 = df2.set_index('name', append=True).unstack(fill_value='')
df3.columns = df3.columns.droplevel()
看看结果，我认为它比 任何其他尝试。
为了将列名作为实际名称（不是数字），我改进了代码：（使用适合您的情况的分隔符，我的是 '\t'）
with open("file.csv", 'r') as temp_f:
# get No of columns in each line
col_count = [ len(l.split("\t")) for l in temp_f.readlines() ]
### Generate column names (names will be 0, 1, 2, ..., maximum columns - 1)
column_names = [i for i in range(0, max(col_count))]
### Read csv
df = pd.read_csv("file.csv", header=None, delimiter="\t",
names=column_names)
col_names = list(df.iloc[0])
df = pd.read_csv("file.csv", header=None, delimiter="\t", names=col_names)
df.drop(0, inplace=True); df.reset_index(drop=True, inplace=True)
df