将索引数组转换为 1-hot 编码的 numpy 数组
Convert array of indices to 1-hot encoded numpy array
假设我有一个 1d numpy 数组
a = array([1,0,3])
我想将其编码为二维单热数组
b = array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])
有什么快速的方法吗？比仅仅循环 a 来设置 b 的元素更快，即
您的数组 a 定义了输出数组中非零元素的列。您还需要定义行，然后使用花式索引：
>>> a = np.array([1, 0, 3])
>>> b = np.zeros((a.size, a.max()+1))
>>> b[np.arange(a.size),a] = 1
>>> b
array([[ 0., 1., 0., 0.],
[ 1., 0., 0., 0.],
[ 0., 0., 0., 1.]])
>>> values = [1, 0, 3]
>>> n_values = np.max(values) + 1
>>> np.eye(n_values)[values]
array([[ 0., 1., 0., 0.],
[ 1., 0., 0., 0.],
[ 0., 0., 0., 1.]])
这是一个将一维向量转换为二维单热数组的函数。
#!/usr/bin/env python
import numpy as np
def convertToOneHot(vector, num_classes=None):
"""
Converts an input 1-D vector of integers into an output
2-D array of one-hot vectors, where an i'th input value
of j will set a '1' in the i'th row, j'th column of the
output array.
Example:
v = np.array((1, 0, 4))
one_hot_v = convertToOneHot(v)
print one_hot_v
[[0 1 0 0 0]
[1 0 0 0 0]
[0 0 0 0 1]]
"""
assert isinstance(vector, np.ndarray)
assert len(vector) > 0
if num_classes is None:
num_classes = np.max(vector)+1
else:
assert num_classes > 0
assert num_classes >= np.max(vector)
result = np.zeros(shape=(len(vector), num_classes))
result[np.arange(len(vector)), vector] = 1
return result.astype(int)
下面是一些示例用法：
>>> a = np.array([1, 0, 3])
>>> convertToOneHot(a)
array([[0, 1, 0, 0],
[1, 0, 0, 0],
[0, 0, 0, 1]])
>>> convertToOneHot(a, num_classes=10)
array([[0, 1, 0, 0, 0, 0, 0, 0, 0, 0],
[1, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 1, 0, 0, 0, 0, 0, 0]])
我认为简短的回答是否定的。对于 n 维的更通用的情况，我想出了这个：
# For 2-dimensional data, 4 values
a = np.array([[0, 1, 2], [3, 2, 1]])
z = np.zeros(list(a.shape) + [4])
z[list(np.indices(z.shape[:-1])) + [a]] = 1
我想知道是否有更好的解决方案 -- 我不喜欢我必须在最后两行中创建这些列表。不管怎样，我用 timeit 做了一些测量，看起来基于 numpy 的（indices/arange）和迭代版本的表现大致相同。
您可以使用 sklearn.preprocessing.LabelBinarizer:
示例：
import sklearn.preprocessing
a = [1,0,3]
label_binarizer = sklearn.preprocessing.LabelBinarizer()
label_binarizer.fit(range(max(a)+1))
b = label_binarizer.transform(a)
print('{0}'.format(b))
输出：
[[0 1 0 0]
[1 0 0 0]
[0 0 0 1]]
除其他外，您可以初始化 sklearn.preprocessing.LabelBinarizer() 以便 transform 的输出是稀疏的。
如果您使用的是 keras，则有一个内置实用程序：
from keras.utils.np_utils import to_categorical
categorical_labels = to_categorical(int_labels, num_classes=3)
它的功能与 (see source-code 几乎相同）。
这是我根据上述答案和我自己的用例编写的示例函数：
def label_vector_to_one_hot_vector(vector, one_hot_size=10):
"""
Use to convert a column vector to a 'one-hot' matrix
Example:
vector: [[2], [0], [1]]
one_hot_size: 3
returns:
[[ 0., 0., 1.],
[ 1., 0., 0.],
[ 0., 1., 0.]]
Parameters:
vector (np.array): of size (n, 1) to be converted
one_hot_size (int) optional: size of 'one-hot' row vector
Returns:
np.array size (vector.size, one_hot_size): converted to a 'one-hot' matrix
"""
squeezed_vector = np.squeeze(vector, axis=-1)
one_hot = np.zeros((squeezed_vector.size, one_hot_size))
one_hot[np.arange(squeezed_vector.size), squeezed_vector] = 1
return one_hot
label_vector_to_one_hot_vector(vector=[[2], [0], [1]], one_hot_size=3)
只是为了详细说明 from K3---rnc，这里有一个更通用的版本：
def onehottify(x, n=None, dtype=float):
"""1-hot encode x with the max value n (computed from data if n is None)."""
x = np.asarray(x)
n = np.max(x) + 1 if n is None else n
return np.eye(n, dtype=dtype)[x]
此外，这是此方法的快速基准测试和 by YXD 中的方法（略有更改，因此它们提供相同的 API，只是后者仅适用使用 1D ndarrays):
def onehottify_only_1d(x, n=None, dtype=float):
x = np.asarray(x)
n = np.max(x) + 1 if n is None else n
b = np.zeros((len(x), n), dtype=dtype)
b[np.arange(len(x)), x] = 1
return b
后一种方法快约 35%（MacBook Pro 13 2015），但前者更通用：
>>> import numpy as np
>>> np.random.seed(42)
>>> a = np.random.randint(0, 9, size=(10_000,))
>>> a
array([6, 3, 7, ..., 5, 8, 6])
>>> %timeit onehottify(a, 10)
188 µs ± 5.03 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
>>> %timeit onehottify_only_1d(a, 10)
139 µs ± 2.78 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
我最近 运行 遇到了一个同类问题，并找到了上述解决方案，结果证明只有当你的数字在特定阵型内时才令人满意。例如，如果您想对以下列表进行单热编码：
all_good_list = [0,1,2,3,4]
继续，贴出的解决办法上面已经说了。但是如果考虑这个数据呢：
problematic_list = [0,23,12,89,10]
如果你用上面提到的方法来做，你最终可能会得到 90 个 one-hot 列。这是因为所有答案都包含类似 n = np.max(a)+1 的内容。我找到了一个更适合我的通用解决方案并想与您分享：
import numpy as np
import sklearn
sklb = sklearn.preprocessing.LabelBinarizer()
a = np.asarray([1,2,44,3,2])
n = np.unique(a)
sklb.fit(n)
b = sklb.transform(a)
我希望有人在上述解决方案中遇到同样的限制，这可能会派上用场
以下是我认为有用的内容：
def one_hot(a, num_classes):
return np.squeeze(np.eye(num_classes)[a.reshape(-1)])
这里的num_classes代表你拥有的类个数。因此，如果您有形状为 (10000,) 的 a 向量，此函数会将其转换为 (10000,C)。请注意 a 是 zero-indexed，即 one_hot(np.array([0, 1]), 2) 将得到 [[1, 0], [0, 1]].
我相信正是你想要的。
你也可以使用numpy的eye函数：
numpy.eye(number of classes)[vector containing the labels]
我正在添加一个简单的函数来完成，仅使用 numpy 运算符：
def probs_to_onehot(output_probabilities):
argmax_indices_array = np.argmax(output_probabilities, axis=1)
onehot_output_array = np.eye(np.unique(argmax_indices_array).shape[0])[argmax_indices_array.reshape(-1)]
return onehot_output_array
它以概率矩阵作为输入：例如：
[[0.03038822 0.65810204 0.16549407 0.3797123 ]
...
[0.02771272 0.2760752 0.3280924 0.33458805]]
它会return
[[0 1 0 0] ... [0 0 0 1]]
这是一个与维度无关的独立解决方案。
这会将任何非负整数的 N 维数组 arr 转换为单热 N+1 维数组 one_hot，其中 one_hot[i_1,...,i_N,c] = 1 表示 arr[i_1,...,i_N] = c .您可以通过 np.argmax(one_hot, -1)
恢复输入
def expand_integer_grid(arr, n_classes):
"""
:param arr: N dim array of size i_1, ..., i_N
:param n_classes: C
:returns: one-hot N+1 dim array of size i_1, ..., i_N, C
:rtype: ndarray
"""
one_hot = np.zeros(arr.shape + (n_classes,))
axes_ranges = [range(arr.shape[i]) for i in range(arr.ndim)]
flat_grids = [_.ravel() for _ in np.meshgrid(*axes_ranges, indexing='ij')]
one_hot[flat_grids + [arr.ravel()]] = 1
assert((one_hot.sum(-1) == 1).all())
assert(np.allclose(np.argmax(one_hot, -1), arr))
return one_hot
这种类型的编码通常是 numpy 数组的一部分。如果您正在使用这样的 numpy 数组：
a = np.array([1,0,3])
然后有一种非常简单的方法可以将其转换为 1-hot 编码
out = (np.arange(4) == a[:,None]).astype(np.float32)
就是这样。
- p 将是一个 2d ndarray。
- 我们想知道哪一个值在一行中最高，在那里放 1，其他地方放 0。
干净简单的解决方案：
max_elements_i = np.expand_dims(np.argmax(p, axis=1), axis=1)
one_hot = np.zeros(p.shape)
np.put_along_axis(one_hot, max_elements_i, 1, axis=1)
使用以下代码。效果最好。
def one_hot_encode(x):
"""
argument
- x: a list of labels
return
- one hot encoding matrix (number of labels, number of class)
"""
encoded = np.zeros((len(x), 10))
for idx, val in enumerate(x):
encoded[idx][val] = 1
return encoded
Found it here P.S 你不需要进入 link.
您可以使用以下代码转换为 one-hot 向量：
设 x 是具有单列的正常 class 向量，其中 classes 0 到某个数字：
import numpy as np
np.eye(x.max()+1)[x]
如果 0 不是 class；然后删除 +1.
使用 Neuraxle 管道步骤：
- 设置您的示例
import numpy as np
a = np.array([1,0,3])
b = np.array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])
- 进行实际转换
from neuraxle.steps.numpy import OneHotEncoder
encoder = OneHotEncoder(nb_columns=4)
b_pred = encoder.transform(a)
- 确认有效
assert b_pred == b
Link 到文档：neuraxle.steps.numpy.OneHotEncoder
对于 1-热编码
one_hot_encode=pandas.get_dummies(array)
For Example
享受编码的乐趣
如果使用tensorflow，则有one_hot():
import tensorflow as tf
import numpy as np
a = np.array([1, 0, 3])
depth = 4
b = tf.one_hot(a, depth)
# <tf.Tensor: shape=(3, 3), dtype=float32, numpy=
# array([[0., 1., 0.],
# [1., 0., 0.],
# [0., 0., 0.]], dtype=float32)>
def one_hot(n, class_num, col_wise=True):
a = np.eye(class_num)[n.reshape(-1)]
return a.T if col_wise else a
# Column for different hot
print(one_hot(np.array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 9, 9, 9, 9, 8, 7]), 10))
# Row for different hot
print(one_hot(np.array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 9, 9, 9, 9, 8, 7]), 10, col_wise=False))
我发现最简单的解决方案结合了 np.take 和 np.eye
def one_hot(x, depth: int):
return np.take(np.eye(depth), x, axis=0)
适用于任何形状的 x。
假设我有一个 1d numpy 数组
a = array([1,0,3])
我想将其编码为二维单热数组
b = array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])
有什么快速的方法吗？比仅仅循环 a 来设置 b 的元素更快，即
您的数组 a 定义了输出数组中非零元素的列。您还需要定义行，然后使用花式索引：
>>> a = np.array([1, 0, 3])
>>> b = np.zeros((a.size, a.max()+1))
>>> b[np.arange(a.size),a] = 1
>>> b
array([[ 0., 1., 0., 0.],
[ 1., 0., 0., 0.],
[ 0., 0., 0., 1.]])
>>> values = [1, 0, 3]
>>> n_values = np.max(values) + 1
>>> np.eye(n_values)[values]
array([[ 0., 1., 0., 0.],
[ 1., 0., 0., 0.],
[ 0., 0., 0., 1.]])
这是一个将一维向量转换为二维单热数组的函数。
#!/usr/bin/env python
import numpy as np
def convertToOneHot(vector, num_classes=None):
"""
Converts an input 1-D vector of integers into an output
2-D array of one-hot vectors, where an i'th input value
of j will set a '1' in the i'th row, j'th column of the
output array.
Example:
v = np.array((1, 0, 4))
one_hot_v = convertToOneHot(v)
print one_hot_v
[[0 1 0 0 0]
[1 0 0 0 0]
[0 0 0 0 1]]
"""
assert isinstance(vector, np.ndarray)
assert len(vector) > 0
if num_classes is None:
num_classes = np.max(vector)+1
else:
assert num_classes > 0
assert num_classes >= np.max(vector)
result = np.zeros(shape=(len(vector), num_classes))
result[np.arange(len(vector)), vector] = 1
return result.astype(int)
下面是一些示例用法：
>>> a = np.array([1, 0, 3])
>>> convertToOneHot(a)
array([[0, 1, 0, 0],
[1, 0, 0, 0],
[0, 0, 0, 1]])
>>> convertToOneHot(a, num_classes=10)
array([[0, 1, 0, 0, 0, 0, 0, 0, 0, 0],
[1, 0, 0, 0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 1, 0, 0, 0, 0, 0, 0]])
我认为简短的回答是否定的。对于 n 维的更通用的情况，我想出了这个：
# For 2-dimensional data, 4 values
a = np.array([[0, 1, 2], [3, 2, 1]])
z = np.zeros(list(a.shape) + [4])
z[list(np.indices(z.shape[:-1])) + [a]] = 1
我想知道是否有更好的解决方案 -- 我不喜欢我必须在最后两行中创建这些列表。不管怎样，我用 timeit 做了一些测量，看起来基于 numpy 的（indices/arange）和迭代版本的表现大致相同。
您可以使用 sklearn.preprocessing.LabelBinarizer:
示例：
import sklearn.preprocessing
a = [1,0,3]
label_binarizer = sklearn.preprocessing.LabelBinarizer()
label_binarizer.fit(range(max(a)+1))
b = label_binarizer.transform(a)
print('{0}'.format(b))
输出：
[[0 1 0 0]
[1 0 0 0]
[0 0 0 1]]
除其他外，您可以初始化 sklearn.preprocessing.LabelBinarizer() 以便 transform 的输出是稀疏的。
如果您使用的是 keras，则有一个内置实用程序：
from keras.utils.np_utils import to_categorical
categorical_labels = to_categorical(int_labels, num_classes=3)
它的功能与
这是我根据上述答案和我自己的用例编写的示例函数：
def label_vector_to_one_hot_vector(vector, one_hot_size=10):
"""
Use to convert a column vector to a 'one-hot' matrix
Example:
vector: [[2], [0], [1]]
one_hot_size: 3
returns:
[[ 0., 0., 1.],
[ 1., 0., 0.],
[ 0., 1., 0.]]
Parameters:
vector (np.array): of size (n, 1) to be converted
one_hot_size (int) optional: size of 'one-hot' row vector
Returns:
np.array size (vector.size, one_hot_size): converted to a 'one-hot' matrix
"""
squeezed_vector = np.squeeze(vector, axis=-1)
one_hot = np.zeros((squeezed_vector.size, one_hot_size))
one_hot[np.arange(squeezed_vector.size), squeezed_vector] = 1
return one_hot
label_vector_to_one_hot_vector(vector=[[2], [0], [1]], one_hot_size=3)
只是为了详细说明
def onehottify(x, n=None, dtype=float):
"""1-hot encode x with the max value n (computed from data if n is None)."""
x = np.asarray(x)
n = np.max(x) + 1 if n is None else n
return np.eye(n, dtype=dtype)[x]
此外，这是此方法的快速基准测试和
def onehottify_only_1d(x, n=None, dtype=float):
x = np.asarray(x)
n = np.max(x) + 1 if n is None else n
b = np.zeros((len(x), n), dtype=dtype)
b[np.arange(len(x)), x] = 1
return b
后一种方法快约 35%（MacBook Pro 13 2015），但前者更通用：
>>> import numpy as np
>>> np.random.seed(42)
>>> a = np.random.randint(0, 9, size=(10_000,))
>>> a
array([6, 3, 7, ..., 5, 8, 6])
>>> %timeit onehottify(a, 10)
188 µs ± 5.03 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
>>> %timeit onehottify_only_1d(a, 10)
139 µs ± 2.78 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
我最近 运行 遇到了一个同类问题，并找到了上述解决方案，结果证明只有当你的数字在特定阵型内时才令人满意。例如，如果您想对以下列表进行单热编码：
all_good_list = [0,1,2,3,4]
继续，贴出的解决办法上面已经说了。但是如果考虑这个数据呢：
problematic_list = [0,23,12,89,10]
如果你用上面提到的方法来做，你最终可能会得到 90 个 one-hot 列。这是因为所有答案都包含类似 n = np.max(a)+1 的内容。我找到了一个更适合我的通用解决方案并想与您分享：
import numpy as np
import sklearn
sklb = sklearn.preprocessing.LabelBinarizer()
a = np.asarray([1,2,44,3,2])
n = np.unique(a)
sklb.fit(n)
b = sklb.transform(a)
我希望有人在上述解决方案中遇到同样的限制，这可能会派上用场
以下是我认为有用的内容：
def one_hot(a, num_classes):
return np.squeeze(np.eye(num_classes)[a.reshape(-1)])
这里的num_classes代表你拥有的类个数。因此，如果您有形状为 (10000,) 的 a 向量，此函数会将其转换为 (10000,C)。请注意 a 是 zero-indexed，即 one_hot(np.array([0, 1]), 2) 将得到 [[1, 0], [0, 1]].
我相信正是你想要的。
你也可以使用numpy的eye函数：
numpy.eye(number of classes)[vector containing the labels]
我正在添加一个简单的函数来完成，仅使用 numpy 运算符：
def probs_to_onehot(output_probabilities):
argmax_indices_array = np.argmax(output_probabilities, axis=1)
onehot_output_array = np.eye(np.unique(argmax_indices_array).shape[0])[argmax_indices_array.reshape(-1)]
return onehot_output_array
它以概率矩阵作为输入：例如：
[[0.03038822 0.65810204 0.16549407 0.3797123 ] ... [0.02771272 0.2760752 0.3280924 0.33458805]]
它会return
[[0 1 0 0] ... [0 0 0 1]]
这是一个与维度无关的独立解决方案。
这会将任何非负整数的 N 维数组 arr 转换为单热 N+1 维数组 one_hot，其中 one_hot[i_1,...,i_N,c] = 1 表示 arr[i_1,...,i_N] = c .您可以通过 np.argmax(one_hot, -1)
def expand_integer_grid(arr, n_classes):
"""
:param arr: N dim array of size i_1, ..., i_N
:param n_classes: C
:returns: one-hot N+1 dim array of size i_1, ..., i_N, C
:rtype: ndarray
"""
one_hot = np.zeros(arr.shape + (n_classes,))
axes_ranges = [range(arr.shape[i]) for i in range(arr.ndim)]
flat_grids = [_.ravel() for _ in np.meshgrid(*axes_ranges, indexing='ij')]
one_hot[flat_grids + [arr.ravel()]] = 1
assert((one_hot.sum(-1) == 1).all())
assert(np.allclose(np.argmax(one_hot, -1), arr))
return one_hot
这种类型的编码通常是 numpy 数组的一部分。如果您正在使用这样的 numpy 数组：
a = np.array([1,0,3])
然后有一种非常简单的方法可以将其转换为 1-hot 编码
out = (np.arange(4) == a[:,None]).astype(np.float32)
就是这样。
- p 将是一个 2d ndarray。
- 我们想知道哪一个值在一行中最高，在那里放 1，其他地方放 0。
干净简单的解决方案：
max_elements_i = np.expand_dims(np.argmax(p, axis=1), axis=1)
one_hot = np.zeros(p.shape)
np.put_along_axis(one_hot, max_elements_i, 1, axis=1)
使用以下代码。效果最好。
def one_hot_encode(x):
"""
argument
- x: a list of labels
return
- one hot encoding matrix (number of labels, number of class)
"""
encoded = np.zeros((len(x), 10))
for idx, val in enumerate(x):
encoded[idx][val] = 1
return encoded
Found it here P.S 你不需要进入 link.
您可以使用以下代码转换为 one-hot 向量：
设 x 是具有单列的正常 class 向量，其中 classes 0 到某个数字：
import numpy as np
np.eye(x.max()+1)[x]
如果 0 不是 class；然后删除 +1.
使用 Neuraxle 管道步骤：
- 设置您的示例
import numpy as np
a = np.array([1,0,3])
b = np.array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])
- 进行实际转换
from neuraxle.steps.numpy import OneHotEncoder
encoder = OneHotEncoder(nb_columns=4)
b_pred = encoder.transform(a)
- 确认有效
assert b_pred == b
Link 到文档：neuraxle.steps.numpy.OneHotEncoder
对于 1-热编码
one_hot_encode=pandas.get_dummies(array)
For Example
享受编码的乐趣
如果使用tensorflow，则有one_hot():
import tensorflow as tf
import numpy as np
a = np.array([1, 0, 3])
depth = 4
b = tf.one_hot(a, depth)
# <tf.Tensor: shape=(3, 3), dtype=float32, numpy=
# array([[0., 1., 0.],
# [1., 0., 0.],
# [0., 0., 0.]], dtype=float32)>
def one_hot(n, class_num, col_wise=True):
a = np.eye(class_num)[n.reshape(-1)]
return a.T if col_wise else a
# Column for different hot
print(one_hot(np.array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 9, 9, 9, 9, 8, 7]), 10))
# Row for different hot
print(one_hot(np.array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 9, 9, 9, 9, 8, 7]), 10, col_wise=False))
我发现最简单的解决方案结合了 np.take 和 np.eye
def one_hot(x, depth: int):
return np.take(np.eye(depth), x, axis=0)
适用于任何形状的 x。