如何通过 ZeroMQ 将图像（opencv Matrix/numpy 数组）从 C++ 发布者传输到 python 发送者？

Question

我知道如何通过 zeromq 将字符串消息从 C++ 发送到 python。

这是我知道的发送字符串消息的代码：

C++ 发件人代码：

void *context = zmq_ctx_new();
void *publisher = zmq_socket(context, ZMQ_PUB);
int bind = zmq_bind(publisher, "tcp://localhost:5563");
std::string message = "Hello from sender";
const char *message_char = message.c_str();
zmq_send(publisher, message_char, strlen(message_char), ZMQ_NOBLOCK);

Python 收件人代码：

context = zmq.Context()
receiver = context.socket(zmq.SUB)
receiver.connect("tcp://*:5563")
receiver.setsockopt_string(zmq.SUBSCRIBE, "")
message = receiver.recv_string()

我想要的是将图像从 C++ zeromq 发布者发送到 python 接收者。

Answer 1

免责声明： 回答我自己的问题，以免其他人卡在我的地方。

让我们开始吧。

什么是零 MQ？

ZeroMQ 是一个高性能的异步消息传递库，旨在用于分布式或并发应用程序。它提供了一个消息队列，但与面向消息的中间件不同，ZeroMQ 系统可以运行没有专门的消息代理。

之前，我们开始这里是基础知识：

Protocol/Library 使用：ZeroMQ

发布者：面向 C++

订阅者：Python 面向

通过 ZeroMQ 发送 String/char 数组消息:

C++ 发布者：-

// Setting up ZMQ context & socket variables
void *context = zmq_ctx_new();
void *publisher = zmq_socket(context, ZMQ_PUB); 
int bind = zmq_bind(publisher, "tcp://*:9000");
std::string message = "Hello from sender";
const char *message_char = message.c_str(); // Converting c++ string to char array
// Sending char array via ZMQ
zmq_send(publisher, message_char, strlen(message_char), ZMQ_NOBLOCK);

Python 订阅者：-

// Setting up ZMQ context & socket variables
context = zmq.Context()
receiver = context.socket(zmq.SUB)
receiver.connect("tcp://localhost:9000")
// Subscribing to start receiving messages
receiver.setsockopt_string(zmq.SUBSCRIBE, "")
message = receiver.recv_string()

通过 ZeroMQ 发送 Image/ndarray 数组消息:

对于处理图像，opencv 是一个很棒的库。简单、易于编码且速度快如闪电。

C++ 发布者：-

void *context = zmq_ctx_new();
void *publisher = zmq_socket(context, ZMQ_PUB);
int bind = zmq_bind(publisher, "tcp://*:9000");

// Reading the image through opencv package
cv::Mat image = cv::imread("C:/Users/rohit/Desktop/sample.bmp", CV_LOAD_IMAGE_GRAYSCALE );
int height = image.rows;
int width = image.cols;
zmq_send(publisher, image.data, (height*width*sizeof(UINT8)), ZMQ_NOBLOCK);

在上面的代码中，图像被读取为灰度图像，您也可以通过在 opencv 的 imread 方法中传递适当的参数来读取 3 通道 (RGB) 图像。

还要记得相应地修改大小（zmq_send 函数调用中的第 3 个参数）。

Python 订阅者：-

context = zmq.Context()
receiver = context.socket(zmq.SUB)
receiver.connect("tcp://localhost:9000")
receiver.setsockopt_string(zmq.SUBSCRIBE, "")
// Receiving image in bytes
image_bytes = receiver.recv()
int width = 4096; // My image width
int height = 4096; // My image height
// Converting bytes data to ndarray
image = numpy.frombuffer(image_byte, dtype=uint8).reshape((width, height))

待办/改进： 您还可以将来自 c++ 发布者的图像大小与图像数据一起传递。因此，该图像可以在 python 侧进行相应的整形。

ZMQ_SNDMORE 标志在这里派上用场

只需在 C++ 端添加另一个 zmq_send 语句。

zmq_send(publisher, img_height, strlen(img_height), ZMQ_SNDMORE)
zmq_send(publisher, img_width, strlen(img_width), ZMQ_SNDMORE)
zmq_send(publisher, image.data, (height*width*sizeof(UINT8)), ZMQ_NOBLOCK);

同理，在python末尾添加相应的接收语句

height = receiver.recv_string(ZMQ_RCVMORE)
width = receiver.recv_string(ZMQ_RCVMORE)
image_bytes = receiver.recv()

另一个改进

感谢@Mark Setchell 指出改进。

直接通过网络发送大尺寸的 opencv 矩阵可能代价高昂。更好的方法是在通过网络发送之前对图像进行编码。

C++ 发布者：-

void *context = zmq_ctx_new();
void *publisher = zmq_socket(context, ZMQ_PUB);
int bind = zmq_bind(publisher, "tcp://*:9000");

// Reading the image through opencv package
cv::Mat image = cv::imread("C:/Users/rohit/Desktop/sample.bmp", CV_LOAD_IMAGE_GRAYSCALE );
int height = image.rows;
int width = image.cols;
cv::vector<uchar> buffer;
cv::imencode(".jpg", image, buffer);
zmq_send(publisher, buffer.data(), buffer.size(), ZMQ_NOBLOCK);

Python 订阅者：-

context = zmq.Context()
receiver = context.socket(zmq.SUB)
receiver.connect("tcp://localhost:9000")
receiver.setsockopt_string(zmq.SUBSCRIBE, "")
// Receiving image in bytes
image_bytes = receiver.recv()
// Decoding the image -- Python's PIL.Image library is used for decoding
image = numpy.array(Image.open(io.BytesIO(image_byte)))

如何通过 ZeroMQ 将图像（opencv Matrix/numpy 数组）从 C++ 发布者传输到 python 发送者？

How to I transfer an image(opencv Matrix/numpy array) from c++ publisher to python sender via ZeroMQ?

c++

python

zeromq

pyzmq