在 pandas 中使用 read_csv 时精度丢失
Precision lost while using read_csv in pandas
我在文本文件中有以下格式的文件,我正在尝试将其读入 pandas 数据帧。
895|2015-4-23|19|10000|LA|0.4677978806|0.4773469340|0.4089938425|0.8224291972|0.8652525793|0.6829942860|0.5139162227|
如您所见,输入文件中浮点数后有 10 个整数。
df = pd.read_csv('mockup.txt',header=None,delimiter='|')
当我尝试将其读入数据帧时,我没有得到最后 4 个整数
df[5].head()
0 0.467798
1 0.258165
2 0.860384
3 0.803388
4 0.249820
Name: 5, dtype: float64
如何获得输入文件中存在的完整精度?我有一些矩阵运算需要执行,所以我不能将它转换为字符串。
我发现我必须对 dtype
做些什么,但我不确定我应该在哪里使用它。
只是显示问题,见docs:
#temporaly set display precision
with pd.option_context('display.precision', 10):
print df
0 1 2 3 4 5 6 7 \
0 895 2015-4-23 19 10000 LA 0.4677978806 0.477346934 0.4089938425
8 9 10 11 12
0 0.8224291972 0.8652525793 0.682994286 0.5139162227 NaN
编辑:(谢谢 ):
Pandas uses a dedicated decimal-to-binary converter that sacrifices perfect accuracy for the sake of speed. Passing float_precision='round_trip'
to read_csv fixes this. See the documentation for more.
我在文本文件中有以下格式的文件,我正在尝试将其读入 pandas 数据帧。
895|2015-4-23|19|10000|LA|0.4677978806|0.4773469340|0.4089938425|0.8224291972|0.8652525793|0.6829942860|0.5139162227|
如您所见,输入文件中浮点数后有 10 个整数。
df = pd.read_csv('mockup.txt',header=None,delimiter='|')
当我尝试将其读入数据帧时,我没有得到最后 4 个整数
df[5].head()
0 0.467798
1 0.258165
2 0.860384
3 0.803388
4 0.249820
Name: 5, dtype: float64
如何获得输入文件中存在的完整精度?我有一些矩阵运算需要执行,所以我不能将它转换为字符串。
我发现我必须对 dtype
做些什么,但我不确定我应该在哪里使用它。
只是显示问题,见docs:
#temporaly set display precision
with pd.option_context('display.precision', 10):
print df
0 1 2 3 4 5 6 7 \
0 895 2015-4-23 19 10000 LA 0.4677978806 0.477346934 0.4089938425
8 9 10 11 12
0 0.8224291972 0.8652525793 0.682994286 0.5139162227 NaN
编辑:(谢谢
Pandas uses a dedicated decimal-to-binary converter that sacrifices perfect accuracy for the sake of speed. Passing
float_precision='round_trip'
to read_csv fixes this. See the documentation for more.