将 BGR OpenCV Mat 映射到特征张量

Question

我正在尝试将 OpenCV 3 通道垫转换为 3D 本征张量。

到目前为止，我可以通过以下方式转换 1 通道灰度垫：

    cv::Mat mat = cv::imread("/image/path.png", cv::IMREAD_GRAYSCALE);
    Eigen::MatrixXd myMatrix;
    cv::cv2eigen(mat, myMatrix);

我将 BGR mat 转换为 Tensor 的尝试是：

    cv::Mat mat = cv::imread("/image/path.png", cv::IMREAD_COLOR);
    Eigen::MatrixXd temp;
    cv::cv2eigen(mat, temp);
    Eigen::Tensor<double, 3> myTensor = Eigen::TensorMap<Eigen::Tensor<double, 3>>(temp.data(), 3, mat.rows, mat.cols);

但是，我收到以下错误：

libc++abi.dylib: terminating with uncaught exception of type cv::Exception: OpenCV(4.1.0) /tmp/opencv-20190505-12101-14vk1fh/opencv-4.1.0/modules/core/src/matrix_wrap.cpp:1195:
error: (-215:Assertion failed) !fixedType() || ((Mat*)obj)->type() == mtype in function 'create'

行中：cv::cv2eigen(mat, temp);

感谢任何帮助！

Answer 1

答案可能会让您失望。

看了12页后，我的结论是你必须将RGB分离到单独的通道MAT，然后转换为特征矩阵。或者创建你自己的 Eigen 类型和 opencv 转换函数

在OpenCV中是这样测试的。它只允许单通道灰度图像

https://github.com/daviddoria/Examples/blob/master/c%2B%2B/OpenCV/ConvertToEigen/ConvertToEigen.cxx

而在OpenCV中是这样实现的。对于自定义类型又名 cv::scalar 到 eigen std::vector

，哪个不会给你太多选择

https://github.com/stonier/opencv2/blob/master/modules/core/include/opencv2/core/eigen.hpp

并且根据这个post,

I think Eigen was not meant to be used in this way (with vectors as "scalar" types).

他们在处理特征值中的 RGB 图像时也有困难。

注意Opencv Scalar和eigen Scalar有不同的含义

当且仅当您使用自己的数据类型即矩阵时才有可能这样做

因此您要么选择将 3 个通道信息存储在 3 个特征矩阵中，要么可以使用默认特征和 opencv 路由。

Mat src = imread("img.png",CV_LOAD_IMAGE_COLOR); //load  image
Mat bgr[3];   //destination array
split(src,bgr);//split source    
//Note: OpenCV uses BGR color order
imshow("blue.png",bgr[0]); //blue channel
imshow("green.png",bgr[1]); //green channel
imshow("red.png",bgr[2]); //red channel
Eigen::MatrixXd bm,gm,rm;
cv::cv2eigen(bgr[0], bm); 
cv::cv2eigen(bgr[1], gm); 
cv::cv2eigen(bgr[2], rm);

或者您可以定义自己的类型并编写自己版本的 opencv cv2eigen 函数

自定义特征类型遵循此。而且不会很漂亮

https://eigen.tuxfamily.org/dox/TopicCustomizing_CustomScalar.html
https://eigen.tuxfamily.org/dox/TopicNewExpressionType.html

重写你自己的 cv2eigen_custom 类似于此的函数

https://github.com/stonier/opencv2/blob/master/modules/core/include/opencv2/core/eigen.hpp

祝你好运。

编辑

因为你需要张量。忘记 cv 函数

Mat image;
image = imread(argv[1], CV_LOAD_IMAGE_COLOR); 
Tensor<float, 3> t_3d(image.rows, image.cols, 3);

// t_3d(i, j, k) where i is row j is column and k is channel. 
for (int i = 0; i < image.rows; i++) 
  for (int j = 0; j < image.cols; j++) 
  {
       t_3d(i, j, 0) = (float)image.at<cv::Vec3b>(i,j)[0]; 
       t_3d(i, j, 1) = (float)image.at<cv::Vec3b>(i,j)[1];
       t_3d(i, j, 2) = (float)image.at<cv::Vec3b>(i,j)[2];
       //cv ref Mat.at<data_Type>(row_num, col_num)
  }

注意 i,j，因为他们不确定顺序。我只根据参考编写代码。没有为它编译。

还要注意图像类型到张量类型的转换问题。有时你可能得不到你想要的。

这段代码原则上应该可以解决您的问题

编辑编号 2

效仿这个

int storage[128];  // 2 x 4 x 2 x 8 = 128
TensorMap<Tensor<int, 4>> t_4d(storage, 2, 4, 2, 8);

适用于您的案例是

cv::Mat frame=imread('myimg.ppm');
TensorMap<Tensor<float, 3>> t_3d(frame.data, image.rows, image.cols, 3);

问题是我不确定这是否有效。即使它有效，您仍然必须弄清楚内部数据是如何组织的，以便您可以正确地获得形状。祝你好运

Answer 2

更新的答案 - OpenCV 现在具有 Eigen::Tensor 的转换函数，这将解决您的问题。我也需要同样的功能，所以我回馈了这个项目供大家使用。请参阅此处的文档：

https://docs.opencv.org/3.4/d0/daf/group__core__eigen.html

注意：如果您想要 RGB 顺序，在转换为 Eigen::Tensor

之前，您仍然需要在 OpenCV 中重新排序通道

将 BGR OpenCV Mat 映射到特征张量

Map BGR OpenCV Mat to Eigen Tensor

c++

opencv

eigen

tensor