cublasSgemm 行主要乘法

Question

我正在尝试使用 cublasSgemm 来多重化两个以行优先顺序存储的非方阵。我知道这个函数有一个参数，你可以在其中指定是否要转置矩阵 (CUBLAS_OP_T)，但结果以列优先顺序存储，我也需要它以行优先。

此外，我的代码无法将非方矩阵与参数 CUBLAS_OP_T 相乘。只有 CUBLAS_OP_N.

的正方形或非正方形

此外，我知道可以选择使用

按列顺序声明矩阵

define IDX2C(i,j,ld) (((j)*(ld))+(i))

但这不是一个选项，因为我必须使用的矩阵将在其他程序中设置。

我想网上有很多信息，但我找不到任何问题的答案。

我的代码如下：


    int m = 2;
    int k = 3;
    int n = 4;
    int print = 1;
    cudaError_t cudaStat; // cudaMalloc status
    cublasStatus_t stat; // CUBLAS functions status
    cublasHandle_t handle; // CUBLAS context

    int i,j;

    float *a, *b,*c;

    //malloc for a,b,c...

    // define a mxk matrix a row by row
    int ind =11;                               
    for(j=0;j<m*k;j++){                     
        a[j]=(float)ind++;                                    
    }                                        

    // define a kxn matrix b column by column
    ind =11;                               
    for(j=0;j<k*n;j++){                     
        b[j]=(float)ind++;                                    
    }                                        


    // DEVICE
    float *d_a, *d_b, *d_c; 

    //cudaMalloc for d_a, d_b, d_c...

    stat = cublasCreate(&handle); // initialize CUBLAS context

    stat = cublasSetMatrix(m,k, sizeof(*a), a, m, d_a, m);
    stat = cublasSetMatrix(k,n, sizeof(*b), b, k, d_b, k); 

    float al =1.0f;
    float bet =0.0f; 

    stat=cublasSgemm(handle,CUBLAS_OP_T,CUBLAS_OP_T,m,n,k,&al,d_a,m,d_b,k,&bet,d_c,m);

    stat = cublasGetMatrix (m,n, sizeof (*c) ,d_c ,m,c,m); // cp d_c - >c

    if(print == 1) {
    printf ("\nc after Sgemm :\n");
        for(i=0;i<m*n;i++){
                printf ("%f ",c[i]); // print c after Sgemm
        }
    }

    cudaFree (d_a); 
    cudaFree (d_b); 
    cudaFree (d_c);
    cublasDestroy (handle); // destroy CUBLAS context
    free (a); 
    free (b); 
    free (c); 

    return EXIT_SUCCESS ;
}

输出是A * B相乘的转置，即：(A * B)T。

但我想要的是 C = A * B 按行优先顺序排列。

希望有人能帮助我。

Answer 1

如您所说，cuBLAS 将矩阵解释为 column-major 有序，因此当您执行 cublasSgemm(handle,CUBLAS_OP_T,CUBLAS_OP_T,m,n,k,&al,d_a,m,d_b,k,&bet,d_c,m) 时，您正在正确地转置每个输入（以 row-major 形式创建）以准备对于 column-major 解释。问题是 cuBLAS 还以 column-major 顺序转储结果。

我们将欺骗 cuBLAS 计算 $(AB)^T$ ，它将按列主要顺序输出，因此当我们巧妙地按 row-major 顺序解释它时，它看起来像 $AB$ 。因此，我们不计算 AB = C，而是计算 $B^T A^T$ = $C^T$ 。幸运的是， $B^T$ 和 $A^T$ 我们已经通过按 row-major 顺序创建 A 和 B 的动作获得了，因此我们可以简单地绕过 CUBLAS_OP_N 的换位。因此，将行更改为 cublasSgemm(handle,CUBLAS_OP_N,CUBLAS_OP_N,n,m,k,&al,d_b,n,d_a,k,&bet,d_c,n)。

您提供的示例代码应该计算

$\begin{bmatrix} 11 & 12 & 13\ 14 & 15 & 16 \end{bmatrix} \times \begin{bmatrix} 11 & 12 & 13 & 14\ 15 & 16 & 17 & 18\ 19 & 20 & 21 & 22 \end{bmatrix} = \begin{bmatrix} 548 & 584 & 620 & 656\ 683 & 728 & 773 & 818 \end{bmatrix}$

在运行对 cublasSgemm 的更新调用之后，我们得到：

c after Sgemm :
548.000000 584.000000 620.000000 656.000000 683.000000 728.000000 773.000000 818.000000

cublasSgemm 行主要乘法

cublasSgemm row-major multiplication

cuda

matrix

cublas