Numpy 和 Pandas - 用零填充重塑

Question

我有一个包含数据的 csv，我想将其导入到 ndarray 中以便我可以对其进行操作。 csv 数据格式如下。

我想把c = 1的元素排成一行，c = 0的排成一行，像这样降维

1  1 1 5 2 2 5 4 4 1
0  3 3 1

但是，不同的u和i不能在同一列，因此最终结果需要补零，就像这样。我想保留 c 变量列，因为它代表一个分类变量，所以我需要保留它的值以便能够在信息和 c 值之间建立对应关系。我不想只是根据c的值来分离数据。

1 1 1 5 2 2 5 0 0 0 4 4 1
0 0 0 0 0 0 0 3 3 1 0 0 0

到目前为止，我正在使用 df = pd.read_csv 读取 .csv 文件并使用 arr=df.to_numpy() 创建多维 array/tensor。之后，我将排列列的顺序，使 c 列成为第一个，得到这个数组 [[ 1 1 1 5][ 1 2 2 5][ 0 3 3 1][ 1 4 4 1]]。

然后我执行 arr = arr.reshape(2,)，因为 c 有两个可能的值，然后根据元组的长度删除除第一个 c 列以外的所有列。所以在这种情况下，因为每个元组中有 4 个元素，而我正在做的是 16 个元素 arr = np.delete(arr, (4,8,12), axis=1)。

最后，我这样做是为了在 u 与两列都不匹配时用零填充数组。

nomatch = 0
for j in range(1, cols, 3):
    if arr[0][j] != arr[1][j]:
        nomatch+=1
z = np.zeros(nomatch*3, dtype=arr.dtype)
h1 = np.split(arr, [0][0])
new0 = np.concatenate((arr[0],z))
new1 = np.concatenate((z,arr[1])) # problem

final = np.concatenate((new0, new1))

与评论一致，问题是如何在保持第一个元素的同时连接数组。我希望能够设置开始和结束索引并仅在这些索引上修补零，而不是仅仅追加。通过使用连接，我没有得到预期的结果，因为我正在改变第一个元素（数组的头部应该保持不变）。

此外，我不禁想知道这是否是实现最终结果的好方法。例如，我尝试在使用 np.resize() 重塑之前用调整大小填充数组，但它不起作用，当我打印结果时，数组与之前的相同，无论我用作参数的维度如何。如果 c 有 3 个或更多可能的值，并且可以包括多个类似 c 的值，例如 c1、c2...，它们将成为 table 中的行，那么一个好的解决方案将是适应的。我提前感谢所有意见和建议。

Answer 1

这是一个紧凑的 numpy 方法：

asnp = df.to_numpy()
(np.bitwise_xor.outer(np.arange(2),asnp[:,3:])*asnp[:,:3]).reshape(2,-1)
# array([[1, 1, 5, 2, 2, 5, 0, 0, 0, 4, 4, 1],
#        [0, 0, 0, 0, 0, 0, 3, 3, 1, 0, 0, 0]])

更新：多类别：

类别必须是最后 k 列并且第 headers 列以 "cat" 开头。我们为每个唯一的类别组合创建一行，该组合被添加到行的前面。

代码：

import numpy as np
import pandas as pd
import itertools as it

def spreadcats(df):
    cut = sum(map(str.startswith,df.columns,it.repeat("cat")))
    data = df.to_numpy()
    cats,idx = np.unique(data[:,-cut:],axis=0,return_inverse=True)
    m,n,k,_ = data.shape + cats.shape
    out = np.zeros((k,cut+(n-cut)*m),int)
    out[:,:cut] = cats
    out[:,cut:].reshape(k,m,n-cut)[idx,np.arange(m)] = data[:,:-cut]
    return out


x = np.random.randint([1,1,1,0,0],[10,10,10,3,2],(10,5))
df = pd.DataFrame(x,columns=[f"data{i}" for i in "123"] + ["cat1","cat2"])

print(df)
print(spreadcats(df))

样本运行：

   data1  data2  data3  cat1  cat2
0      9      5      1     1     1
1      7      4      2     2     0
2      3      9      8     1     0
3      3      9      1     1     0
4      9      1      7     2     1
5      1      3      7     2     0
6      2      8      2     1     0
7      1      4      9     0     1
8      8      7      3     1     1
9      3      6      9     0     1
[[0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 4 9 0 0 0 3 6 9]
 [1 0 0 0 0 0 0 0 3 9 8 3 9 1 0 0 0 0 0 0 2 8 2 0 0 0 0 0 0 0 0 0]
 [1 1 9 5 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 8 7 3 0 0 0]
 [2 0 0 0 0 7 4 2 0 0 0 0 0 0 0 0 0 1 3 7 0 0 0 0 0 0 0 0 0 0 0 0]
 [2 1 0 0 0 0 0 0 0 0 0 0 0 0 9 1 7 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]]

Numpy 和 Pandas - 用零填充重塑

Numpy and Pandas - reshaping with zero padding

python

arrays

numpy

pandas

tensor