Python

Question

Whosebug 上有很多关于使用 NumPy 重塑矩阵的问题。我发现与我想要实现的目标密切相关。但是，这个答案对于我的申请来说不够笼统。所以我们到了。

我有一个包含数百万条线（形状 m x n）的矩阵，如下所示：

[[0, 0, 0, 0],
 [1, 1, 1, 1],
 [2, 2, 2, 2],
 [3, 3, 3, 3],
 [4, 4, 4, 4],
 [5, 5, 5, 5],
 [6, 6, 6, 6],
 [7, 7, 7, 7],
 [...]]

从这里我想得到一个形状 m/2 x 2n 如下所示。为此，必须每 n 行取 n 个连续的行（在本例中 n = 2）。然后将连续获取的行块水平堆叠到未触及的行。在此示例中，这意味着：

前两行保持原样。
将第二行和第三行水平连接到第零行和第一行。
将第六行和第七行水平连接到第四行和第五行。这个连接块然后成为第二行和第三行。
...

[[0, 0, 0, 0, 2, 2, 2, 2],
 [1, 1, 1, 1, 3, 3, 3, 3],
 [4, 4, 4, 4, 6, 6, 6, 6],
 [5, 5, 5, 5, 7, 7, 7, 7],
 [...]]

我如何使用 Numpy 最有效地（就可能的最少计算时间而言）做到这一点？使用 Numba 加速这个过程是否有意义？还是没有太多可以加快的地方？

Answer 1

假设你的数组的长度可以被 4 整除，这里有一种方法你可以在创建正确的索引来选择结果数组的“左”和“右”部分的行后使用 numpy.hstack :

import numpy 
# Create the array
N = 1000*4
a = np.hstack([np.arange(0, N)[:, None]]*4) #shape (4000, 4)
a
array([[   0,    0,    0,    0],
       [   1,    1,    1,    1],
       [   2,    2,    2,    2],
       ...,
       [3997, 3997, 3997, 3997],
       [3998, 3998, 3998, 3998],
       [3999, 3999, 3999, 3999]])

left_idx = np.array([np.array([0,1]) + 4*i for i in range(N//4)]).reshape(-1)
right_idx = np.array([np.array([2,3]) + 4*i for i in range(N//4)]).reshape(-1)

r = np.hstack([a[left_idx], a[right_idx]]) #shape (2000, 8)
r
array([[   0,    0,    0, ...,    2,    2,    2],
       [   1,    1,    1, ...,    3,    3,    3],
       [   4,    4,    4, ...,    6,    6,    6],
       ...,
       [3993, 3993, 3993, ..., 3995, 3995, 3995],
       [3996, 3996, 3996, ..., 3998, 3998, 3998],
       [3997, 3997, 3997, ..., 3999, 3999, 3999]])

Answer 2

这是 swapaxes 答案在 link 中的应用。

In [11]: x=np.array([[0, 0, 0, 0],
    ...:  [1, 1, 1, 1],
    ...:  [2, 2, 2, 2],
    ...:  [3, 3, 3, 3],
    ...:  [4, 4, 4, 4],
    ...:  [5, 5, 5, 5],
    ...:  [6, 6, 6, 6],
    ...:  [7, 7, 7, 7]])

通过整形将数组分解为 'groups'，保持列数 (4) 不变。

In [17]: x.reshape(2,2,2,4)
Out[17]: 
array([[[[0, 0, 0, 0],
         [1, 1, 1, 1]],

        [[2, 2, 2, 2],
         [3, 3, 3, 3]]],


       [[[4, 4, 4, 4],
         [5, 5, 5, 5]],

        [[6, 6, 6, 6],
         [7, 7, 7, 7]]]])

交换 2 个中间维度，重新分组行：

In [18]: x.reshape(2,2,2,4).transpose(0,2,1,3)
Out[18]: 
array([[[[0, 0, 0, 0],
         [2, 2, 2, 2]],

        [[1, 1, 1, 1],
         [3, 3, 3, 3]]],


       [[[4, 4, 4, 4],
         [6, 6, 6, 6]],

        [[5, 5, 5, 5],
         [7, 7, 7, 7]]]])

然后回到目标形状。最后一步创建原始副本（之前的步骤是 view）：

In [19]: x.reshape(2,2,2,4).transpose(0,2,1,3).reshape(4,8)
Out[19]: 
array([[0, 0, 0, 0, 2, 2, 2, 2],
       [1, 1, 1, 1, 3, 3, 3, 3],
       [4, 4, 4, 4, 6, 6, 6, 6],
       [5, 5, 5, 5, 7, 7, 7, 7]])

很难一概而论，因为重新排列块的方式多种多样。例如我的第一次尝试产生了：

In [16]: x.reshape(4,2,4).transpose(1,0,2).reshape(4,8)
Out[16]: 
array([[0, 0, 0, 0, 2, 2, 2, 2],
       [4, 4, 4, 4, 6, 6, 6, 6],
       [1, 1, 1, 1, 3, 3, 3, 3],
       [5, 5, 5, 5, 7, 7, 7, 7]])

Python - 通过每 n 行取 n 个连续行来重塑矩阵

Python - Reshape matrix by taking n consecutive rows every n rows

numpy

matrix

reshape

numba