Numpy 的 genfromtxt returns 不同的结构化数据取决于 dtype 参数
Numpy's genfromtxt returns different structured data depending on dtype parameters
我有以下内容：
from numpy import genfromtxt
seg_data1 = genfromtxt('./datasets/segmentation.all', delimiter=',', dtype="|S5")
seg_data2 = genfromtxt('./datasets/segmentation.all', delimiter=',', dtype=["|S5"] + ["float" for n in range(19)])
print seg_data1
print seg_data2
print seg_data1[:,0:1]
print seg_data2[:,0:1]
原来seg_data1和seg_data2不是同一种结构。这是打印的内容：
[['BRICK' '140.0' '125.0' ..., '7.777' '0.545' '-1.12']
['BRICK' '188.0' '133.0' ..., '8.444' '0.538' '-0.92']
['BRICK' '105.0' '139.0' ..., '7.555' '0.532' '-0.96']
...,
['CEMEN' '128.0' '161.0' ..., '10.88' '0.540' '-1.99']
['CEMEN' '150.0' '158.0' ..., '12.22' '0.503' '-1.94']
['CEMEN' '124.0' '162.0' ..., '14.55' '0.479' '-2.02']]
[ ('BRICK', 140.0, 125.0, 9.0, 0.0, 0.0, 0.2777779, 0.06296301, 0.66666675, 0.31111118, 6.185185, 7.3333335, 7.6666665, 3.5555556, 3.4444444, 4.4444447, -7.888889, 7.7777777, 0.5456349, -1.1218182)
('BRICK', 188.0, 133.0, 9.0, 0.0, 0.0, 0.33333334, 0.26666674, 0.5, 0.077777736, 6.6666665, 8.333334, 7.7777777, 3.8888888, 5.0, 3.3333333, -8.333333, 8.444445, 0.53858024, -0.92481726)
('BRICK', 105.0, 139.0, 9.0, 0.0, 0.0, 0.27777782, 0.107407436, 0.83333325, 0.52222216, 6.111111, 7.5555553, 7.2222223, 3.5555556, 4.3333335, 3.3333333, -7.6666665, 7.5555553, 0.5326279, -0.96594584)
...,
('CEMEN', 128.0, 161.0, 9.0, 0.0, 0.0, 0.55555534, 0.25185192, 0.77777785, 0.16296278, 7.148148, 5.5555553, 10.888889, 5.0, -4.7777777, 11.222222, -6.4444447, 10.888889, 0.5409177, -1.9963073)
('CEMEN', 150.0, 158.0, 9.0, 0.0, 0.0, 2.166667, 1.6333338, 1.388889, 0.41851807, 8.444445, 7.0, 12.222222, 6.111111, -4.3333335, 11.333333, -7.0, 12.222222, 0.50308645, -1.9434487)
('CEMEN', 124.0, 162.0, 9.0, 0.11111111, 0.0, 1.3888888, 1.1296295, 2.0, 0.8888891, 10.037037, 8.0, 14.555555, 7.5555553, -6.111111, 13.555555, -7.4444447, 14.555555, 0.4799313, -2.0293121)]
[['BRICK']
['BRICK']
['BRICK']
...,
['CEMEN']
['CEMEN']
['CEMEN']]
Traceback (most recent call last):
File "segmentationdata.py", line 14, in <module>
print seg_data2[:,0:1]
IndexError: too many indices for array
我宁愿 genfromtxt return 数据以 seg_data1 的形式出现，尽管我不知道有任何内置的方法来强制 seg_data2符合那种类型。据我所知，没有简单的方法可以做到：
seg_target1 = seg_data1[:,0:1]
seg_data1 = seg_data1[:,1:]
为 seg_data2。现在我可以做 data.astype(float) 但重点是，当我给它那个 dtype 数组时，genfromtxt 不应该做吗？
使用 dtype="|S5" 可以将所有列导入为字符串（5 个字符）。结果是一个二维数组，其中的行类似于
['BRICK' '140.0' '125.0' ..., '7.777' '0.545' '-1.12']
使用 dtype=["|S5"] + ["float" for n in range(19)] 为每一列指定 dtype，结果是一个结构化数组。它是一维的，有 20 个字段。您可以按名称访问字段（查看 set_data2.dtype），而不是按列号。
此数组的一个元素或记录显示为一个元组，包括一个字符串和 19 个浮点数：
('BRICK', 140.0, 125.0, 9.0, 0.0, 0.0, 0.2777779, 0.06296301, 0.66666675, 0.31111118, 6.185185, 7.3333335, 7.6666665, 3.5555556, 3.4444444, 4.4444447, -7.888889, 7.7777777, 0.5456349, -1.1218182)
#首字母列
print set_data2['f0']
指定 dtype=None 应该产生相同的结果，可能是一些整数列而不是所有浮点数。
也可以指定具有 2 个字段的 dtype，一个是字符串列，另一个是 19 个浮点数。我必须检查文档和 运行 一些测试用例以确定格式。
我认为您阅读了足够多的 genfromtxt 文档以了解您可以指定复合数据类型，但还不足以理解结果。
=================
导入包含文本和数字的 csv 示例：
In [139]: txt=b"""one 1 2 3
...: two 4 5 6
...: """
默认值：所有花车
In [140]: np.genfromtxt(txt.splitlines())
Out[140]:
array([[ nan, 1., 2., 3.],
[ nan, 4., 5., 6.]])
自动数据类型选择 - 4 个字段
In [141]: np.genfromtxt(txt.splitlines(),dtype=None)
Out[141]:
array([(b'one', 1, 2, 3), (b'two', 4, 5, 6)],
dtype=[('f0', 'S3'), ('f1', '<i4'), ('f2', '<i4'), ('f3', '<i4')])
用户指定的字段数据类型
In [142]: np.genfromtxt(txt.splitlines(),dtype='str,int,float,int')
Out[142]:
array([('', 1, 2.0, 3), ('', 4, 5.0, 6)],
dtype=[('f0', '<U'), ('f1', '<i4'), ('f2', '<f8'), ('f3', '<i4')])
复合数据类型，数字字段的列数（以及对字符串列的更正）
In [145]: np.genfromtxt(txt.splitlines(),dtype='S5,(3)int')
Out[145]:
array([(b'one', [1, 2, 3]), (b'two', [4, 5, 6])],
dtype=[('f0', 'S5'), ('f1', '<i4', (3,))])
In [146]: _['f0']
Out[146]:
array([b'one', b'two'],
dtype='|S5')
In [149]: _['f1']
Out[149]:
array([[1, 2, 3],
[4, 5, 6]])
如果您需要跨数字字段进行数学计算，最后一种情况（或更详细的情况）可能最方便。
要生成更复杂的东西，最好在单独的表达式中开发 dtype（dtype 语法可能很棘手）
In [172]: dt=np.dtype([('f0','|S5'),('f1',[('f10',int),('f11',float,(2))])])
In [173]: np.genfromtxt(txt.splitlines(),dtype=dt)
Out[173]:
array([(b'one', (1, [2.0, 3.0])), (b'two', (4, [5.0, 6.0]))],
dtype=[('f0', 'S5'), ('f1', [('f10', '<i4'), ('f11', '<f8', (2,))])])
我有以下内容：
from numpy import genfromtxt
seg_data1 = genfromtxt('./datasets/segmentation.all', delimiter=',', dtype="|S5")
seg_data2 = genfromtxt('./datasets/segmentation.all', delimiter=',', dtype=["|S5"] + ["float" for n in range(19)])
print seg_data1
print seg_data2
print seg_data1[:,0:1]
print seg_data2[:,0:1]
原来seg_data1和seg_data2不是同一种结构。这是打印的内容：
[['BRICK' '140.0' '125.0' ..., '7.777' '0.545' '-1.12']
['BRICK' '188.0' '133.0' ..., '8.444' '0.538' '-0.92']
['BRICK' '105.0' '139.0' ..., '7.555' '0.532' '-0.96']
...,
['CEMEN' '128.0' '161.0' ..., '10.88' '0.540' '-1.99']
['CEMEN' '150.0' '158.0' ..., '12.22' '0.503' '-1.94']
['CEMEN' '124.0' '162.0' ..., '14.55' '0.479' '-2.02']]
[ ('BRICK', 140.0, 125.0, 9.0, 0.0, 0.0, 0.2777779, 0.06296301, 0.66666675, 0.31111118, 6.185185, 7.3333335, 7.6666665, 3.5555556, 3.4444444, 4.4444447, -7.888889, 7.7777777, 0.5456349, -1.1218182)
('BRICK', 188.0, 133.0, 9.0, 0.0, 0.0, 0.33333334, 0.26666674, 0.5, 0.077777736, 6.6666665, 8.333334, 7.7777777, 3.8888888, 5.0, 3.3333333, -8.333333, 8.444445, 0.53858024, -0.92481726)
('BRICK', 105.0, 139.0, 9.0, 0.0, 0.0, 0.27777782, 0.107407436, 0.83333325, 0.52222216, 6.111111, 7.5555553, 7.2222223, 3.5555556, 4.3333335, 3.3333333, -7.6666665, 7.5555553, 0.5326279, -0.96594584)
...,
('CEMEN', 128.0, 161.0, 9.0, 0.0, 0.0, 0.55555534, 0.25185192, 0.77777785, 0.16296278, 7.148148, 5.5555553, 10.888889, 5.0, -4.7777777, 11.222222, -6.4444447, 10.888889, 0.5409177, -1.9963073)
('CEMEN', 150.0, 158.0, 9.0, 0.0, 0.0, 2.166667, 1.6333338, 1.388889, 0.41851807, 8.444445, 7.0, 12.222222, 6.111111, -4.3333335, 11.333333, -7.0, 12.222222, 0.50308645, -1.9434487)
('CEMEN', 124.0, 162.0, 9.0, 0.11111111, 0.0, 1.3888888, 1.1296295, 2.0, 0.8888891, 10.037037, 8.0, 14.555555, 7.5555553, -6.111111, 13.555555, -7.4444447, 14.555555, 0.4799313, -2.0293121)]
[['BRICK']
['BRICK']
['BRICK']
...,
['CEMEN']
['CEMEN']
['CEMEN']]
Traceback (most recent call last):
File "segmentationdata.py", line 14, in <module>
print seg_data2[:,0:1]
IndexError: too many indices for array
我宁愿 genfromtxt return 数据以 seg_data1 的形式出现，尽管我不知道有任何内置的方法来强制 seg_data2符合那种类型。据我所知，没有简单的方法可以做到：
seg_target1 = seg_data1[:,0:1]
seg_data1 = seg_data1[:,1:]
为 seg_data2。现在我可以做 data.astype(float) 但重点是，当我给它那个 dtype 数组时，genfromtxt 不应该做吗？
使用 dtype="|S5" 可以将所有列导入为字符串（5 个字符）。结果是一个二维数组，其中的行类似于
['BRICK' '140.0' '125.0' ..., '7.777' '0.545' '-1.12']
使用 dtype=["|S5"] + ["float" for n in range(19)] 为每一列指定 dtype，结果是一个结构化数组。它是一维的，有 20 个字段。您可以按名称访问字段（查看 set_data2.dtype），而不是按列号。
此数组的一个元素或记录显示为一个元组，包括一个字符串和 19 个浮点数：
('BRICK', 140.0, 125.0, 9.0, 0.0, 0.0, 0.2777779, 0.06296301, 0.66666675, 0.31111118, 6.185185, 7.3333335, 7.6666665, 3.5555556, 3.4444444, 4.4444447, -7.888889, 7.7777777, 0.5456349, -1.1218182)
#首字母列
print set_data2['f0']
指定 dtype=None 应该产生相同的结果，可能是一些整数列而不是所有浮点数。
也可以指定具有 2 个字段的 dtype，一个是字符串列，另一个是 19 个浮点数。我必须检查文档和 运行 一些测试用例以确定格式。
我认为您阅读了足够多的 genfromtxt 文档以了解您可以指定复合数据类型，但还不足以理解结果。
=================
导入包含文本和数字的 csv 示例：
In [139]: txt=b"""one 1 2 3
...: two 4 5 6
...: """
默认值：所有花车
In [140]: np.genfromtxt(txt.splitlines())
Out[140]:
array([[ nan, 1., 2., 3.],
[ nan, 4., 5., 6.]])
自动数据类型选择 - 4 个字段
In [141]: np.genfromtxt(txt.splitlines(),dtype=None)
Out[141]:
array([(b'one', 1, 2, 3), (b'two', 4, 5, 6)],
dtype=[('f0', 'S3'), ('f1', '<i4'), ('f2', '<i4'), ('f3', '<i4')])
用户指定的字段数据类型
In [142]: np.genfromtxt(txt.splitlines(),dtype='str,int,float,int')
Out[142]:
array([('', 1, 2.0, 3), ('', 4, 5.0, 6)],
dtype=[('f0', '<U'), ('f1', '<i4'), ('f2', '<f8'), ('f3', '<i4')])
复合数据类型，数字字段的列数（以及对字符串列的更正）
In [145]: np.genfromtxt(txt.splitlines(),dtype='S5,(3)int')
Out[145]:
array([(b'one', [1, 2, 3]), (b'two', [4, 5, 6])],
dtype=[('f0', 'S5'), ('f1', '<i4', (3,))])
In [146]: _['f0']
Out[146]:
array([b'one', b'two'],
dtype='|S5')
In [149]: _['f1']
Out[149]:
array([[1, 2, 3],
[4, 5, 6]])
如果您需要跨数字字段进行数学计算，最后一种情况（或更详细的情况）可能最方便。
要生成更复杂的东西，最好在单独的表达式中开发 dtype（dtype 语法可能很棘手）
In [172]: dt=np.dtype([('f0','|S5'),('f1',[('f10',int),('f11',float,(2))])])
In [173]: np.genfromtxt(txt.splitlines(),dtype=dt)
Out[173]:
array([(b'one', (1, [2.0, 3.0])), (b'two', (4, [5.0, 6.0]))],
dtype=[('f0', 'S5'), ('f1', [('f10', '<i4'), ('f11', '<f8', (2,))])])