Perl 中的消息队列
Message queue in Perl
我想用 Perl 实现一个消息队列。我从 stdin 获取数据并将其发送到队列。
我的消息结构是
struct message => {
mtype => '$',
buffer_size => '$',
last_message => '$',
buff => '$',
};
我必须使用 C 程序从队列中接收数据。我的 C 程序以前工作得很好,但现在当我 运行 它从队列接收数据时,它显示像这样的东西
age=HASH(0x1daa088) 1936942445 4000
我使用打印在标准输出上的 4000 字节缓冲区读取数据块。但是程序应该打印收到的消息的大小,而不是 age=HASH(0x1daa088) 1936942445
。
这里发生了什么?是因为消息在 C 中是一个结构,而在 Perl 中它是一个散列?
我的C代码:
#include <stdio.h>
#include <stdlib.h>
#include <linux/ipc.h>
#include <linux/msg.h>
#include <time.h>
#include <string.h>
#define bufsize 4000
struct mymsgbuf {
long mtype; /* Message type */
int buffer_size;
char buff[bufsize];
int last_message;
} msg;
int read_message( int qid, long type, struct mymsgbuf *qbuf ) {
int result, length;
/* The length is essentially the size of the structure minus sizeof(mtype)*/
length = sizeof(struct mymsgbuf) - sizeof(long);
if ( (result = msgrcv( qid, qbuf, length, type, MSG_NOERROR)) == -1 ) {
return(-1);
}
fprintf(stderr, "\t%d\t\t%d\t\t%d \n", qbuf->buffer_size, bufsize, qbuf->last_message);
write(1,qbuf->buff,qbuf->buffer_size);
return(result);
}
int open_queue( key_t keyval ) {
int qid;
if ( (qid = msgget( keyval, 0660 )) == -1 ) {
return(-1);
}
return(qid);
}
main() {
int qid;
key_t msgkey;
msg.last_message = 0;
/* Generate our IPC key value */
msgkey = ftok("/home/joobeen/Desktop/learning", 'm');
/* Open/create the queue */
if (( qid = open_queue( msgkey)) == -1) {
perror("open_queue");
exit(1);
}
fprintf(stderr, "byte received:\tbuffer_size:\tlast_message:\n");
/* Bombs away! */
while (1) {
if ( (read_message( qid,0, &msg )) == -1 ) {
perror("receive_message");
exit(1);
}
if ( msg.last_message == 1 )
break;
}
return 0;
}
我的 Perl 代码:
use strict;
use warnings;
use IPC::SysV qw(IPC_PRIVATE IPC_CREAT S_IRUSR S_IWUSR ftok);
use IPC::Msg;
use Class::Struct;
struct message => {
mtype => '$',
buffer_size => '$',
last_message => '$',
buff => '$',
};
my $key_in = ftok( "/home/joobeen/Desktop/learning", 'm' );
my ( $buffer ) = "";
my $buf_size = 4000;
my $file = shift @ARGV;
my $ifh;
my $is_stdin = 0;
my $type_sent = 1;
my $last;
if ( defined $file ) {
open $ifh, "<", $file or die $!;
}
else {
$ifh = *STDIN;
$is_stdin++;
}
my $ipc_id = msgget( $key_in, IPC_CREAT | S_IRUSR | S_IWUSR );
my $msg = message->new(
mtype => 1,
last_message => 0
);
print "\tbyte sent\tbuffer_size\tlast_message\n";
while ( <$ifh> ) {
$last = read( $ifh, $buffer, $buf_size );
$msg->buff( $buffer );
$msg->buffer_size( $buf_size );
if ( $last < $buf_size ) {
$msg->last_message( 1 );
}
msgsnd( $ipc_id, pack( "l! a*", $type_sent, $msg ), 0 );
print "\t", $last, "\t\t", $buf_size, "\t\t", $msg->last_message, "\n";
}
close $ifh unless $is_stdin;
您的代码有多个问题。我不会为您解决所有问题,但我可以为您提供一些关于如何实施 IPC 的总体指导。
将二进制数据直接读入 C 结构是极其脆弱的。您必须关心字节顺序、结构填充和 int
或 long
等类型的大小。根据您的平台,这两种类型都可以是 32 位或 64 位以及小端或大端。因此,首先,您需要对消息的 "on-the-wire protocol" 进行准确说明。为了简化事情,让我们使用固定大小的消息:
mtype: 32-bit unsigned integer, little endian
buffer_size: 32-bit unsigned integer, little endian
buffer: 4000 bytes
last_message: 32-bit unsigned integer, little endian
这只是一个例子。您也可以使用大端整数,就像大多数网络协议出于历史原因所做的那样。如果你只想在一台机器上使用IPC,你也可以指定native byte order。
现在一条消息的长度固定为4012字节。要在 C 中以可移植的方式解码此类消息,您应该将其读入 char
数组并分别提取每个字段。您知道每个字段的偏移量和大小。
使用 pack
函数在 Perl 中编码这样的消息很容易:
my $msg = pack('V V a4000 V', $mtype, $buffer_size, $buffer, $last);
不需要Class::Struct
。该模块没有达到您的预期。
我想用 Perl 实现一个消息队列。我从 stdin 获取数据并将其发送到队列。
我的消息结构是
struct message => {
mtype => '$',
buffer_size => '$',
last_message => '$',
buff => '$',
};
我必须使用 C 程序从队列中接收数据。我的 C 程序以前工作得很好,但现在当我 运行 它从队列接收数据时,它显示像这样的东西
age=HASH(0x1daa088) 1936942445 4000
我使用打印在标准输出上的 4000 字节缓冲区读取数据块。但是程序应该打印收到的消息的大小,而不是 age=HASH(0x1daa088) 1936942445
。
这里发生了什么?是因为消息在 C 中是一个结构,而在 Perl 中它是一个散列?
我的C代码:
#include <stdio.h>
#include <stdlib.h>
#include <linux/ipc.h>
#include <linux/msg.h>
#include <time.h>
#include <string.h>
#define bufsize 4000
struct mymsgbuf {
long mtype; /* Message type */
int buffer_size;
char buff[bufsize];
int last_message;
} msg;
int read_message( int qid, long type, struct mymsgbuf *qbuf ) {
int result, length;
/* The length is essentially the size of the structure minus sizeof(mtype)*/
length = sizeof(struct mymsgbuf) - sizeof(long);
if ( (result = msgrcv( qid, qbuf, length, type, MSG_NOERROR)) == -1 ) {
return(-1);
}
fprintf(stderr, "\t%d\t\t%d\t\t%d \n", qbuf->buffer_size, bufsize, qbuf->last_message);
write(1,qbuf->buff,qbuf->buffer_size);
return(result);
}
int open_queue( key_t keyval ) {
int qid;
if ( (qid = msgget( keyval, 0660 )) == -1 ) {
return(-1);
}
return(qid);
}
main() {
int qid;
key_t msgkey;
msg.last_message = 0;
/* Generate our IPC key value */
msgkey = ftok("/home/joobeen/Desktop/learning", 'm');
/* Open/create the queue */
if (( qid = open_queue( msgkey)) == -1) {
perror("open_queue");
exit(1);
}
fprintf(stderr, "byte received:\tbuffer_size:\tlast_message:\n");
/* Bombs away! */
while (1) {
if ( (read_message( qid,0, &msg )) == -1 ) {
perror("receive_message");
exit(1);
}
if ( msg.last_message == 1 )
break;
}
return 0;
}
我的 Perl 代码:
use strict;
use warnings;
use IPC::SysV qw(IPC_PRIVATE IPC_CREAT S_IRUSR S_IWUSR ftok);
use IPC::Msg;
use Class::Struct;
struct message => {
mtype => '$',
buffer_size => '$',
last_message => '$',
buff => '$',
};
my $key_in = ftok( "/home/joobeen/Desktop/learning", 'm' );
my ( $buffer ) = "";
my $buf_size = 4000;
my $file = shift @ARGV;
my $ifh;
my $is_stdin = 0;
my $type_sent = 1;
my $last;
if ( defined $file ) {
open $ifh, "<", $file or die $!;
}
else {
$ifh = *STDIN;
$is_stdin++;
}
my $ipc_id = msgget( $key_in, IPC_CREAT | S_IRUSR | S_IWUSR );
my $msg = message->new(
mtype => 1,
last_message => 0
);
print "\tbyte sent\tbuffer_size\tlast_message\n";
while ( <$ifh> ) {
$last = read( $ifh, $buffer, $buf_size );
$msg->buff( $buffer );
$msg->buffer_size( $buf_size );
if ( $last < $buf_size ) {
$msg->last_message( 1 );
}
msgsnd( $ipc_id, pack( "l! a*", $type_sent, $msg ), 0 );
print "\t", $last, "\t\t", $buf_size, "\t\t", $msg->last_message, "\n";
}
close $ifh unless $is_stdin;
您的代码有多个问题。我不会为您解决所有问题,但我可以为您提供一些关于如何实施 IPC 的总体指导。
将二进制数据直接读入 C 结构是极其脆弱的。您必须关心字节顺序、结构填充和 int
或 long
等类型的大小。根据您的平台,这两种类型都可以是 32 位或 64 位以及小端或大端。因此,首先,您需要对消息的 "on-the-wire protocol" 进行准确说明。为了简化事情,让我们使用固定大小的消息:
mtype: 32-bit unsigned integer, little endian
buffer_size: 32-bit unsigned integer, little endian
buffer: 4000 bytes
last_message: 32-bit unsigned integer, little endian
这只是一个例子。您也可以使用大端整数,就像大多数网络协议出于历史原因所做的那样。如果你只想在一台机器上使用IPC,你也可以指定native byte order。
现在一条消息的长度固定为4012字节。要在 C 中以可移植的方式解码此类消息,您应该将其读入 char
数组并分别提取每个字段。您知道每个字段的偏移量和大小。
使用 pack
函数在 Perl 中编码这样的消息很容易:
my $msg = pack('V V a4000 V', $mtype, $buffer_size, $buffer, $last);
不需要Class::Struct
。该模块没有达到您的预期。