跨平台 Protobuf 序列化
Cross-Platform Protobuf Serialization
我有三个应用程序通过 ZeroMQ 进行通信,它们都执行不同的操作。不同的应用如下:
第一个是 C++ 应用程序,它是 "hard work" 的引擎,它将 Protobuf 消息作为来自客户端的请求,做一些工作,然后 returns Protobuf 消息返回给那个客户端(或任何连接的人,Request/Reply 模式)。这使用 0MQ 版本 4.0.4 并使用我们自己构建所需头文件的 protobuf-2.6.0,Protobuf 类 由 protoc 创建。
其次,我有一个 Java 代码并且是一个数据提供者,它使用 jeromq-0.3。4.jar 用于 ZeroMQ 消息传递和 protobuf-java- 2.6.1.jar用于Protobuf序列化等
第三,我有一个 C# 代码,它执行一些分析并有一个很好的 UI 等。这使用 Marc Gravell 的 protobuf-net (https://www.nuget.org/packages/protobuf-net/) 作为 NuGet 包和用于消息传递的 NetMQ(ZeroMQ 的本机 C# 端口)。
现在,C++ <-> Java 运行良好并且没有问题,但是,C++ <-> C# 无法正常运行。当我通过
从 C# 向 C++ "server" 发送基本请求时
using (NetMQContext context = NetMQContext.Create())
using (var requestSocket = context.CreateRequestSocket())
{
requestSocket.Connect(_requestAddress); // "tcp://127.0.0.1:6500"
requestSocket.Send(mux.ToByteArray<Taurus.FeedMux>());
}
和
public static byte[] ToByteArray<T>(this T o)
where T : ProtoBuf.IExtensible
{
if (o == null)
return null;
using (MemoryStream ms = new MemoryStream())
{
ProtoBuf.Serializer.Serialize(ms, o);
return ms.ToArray();
}
}
C++ 代码收到消息,但尽管设置了强制
Taurus.FeedMux mux = new Taurus.FeedMux();
mux.type = Taurus.FeedMux.Type.OXX;
mux.oxx = Oxx.GetOxx();
我在 C++ 应用程序中遇到错误
[libprotobuff ERROR ..\message_lite.cc:123] Can't parse message of type "Taurus.FeedMux" because it is missing required fields: type
但我清楚地设置了 type
并且在 C++ 代码中,似乎设置了类型(使用调试器检查反序列化的对象)。我尝试了两个不同的 Protobuf 库(一个是我构建的,另一个是通过 NuGet 构建的 Mark Gravell 的库),因为我认为这是一个序列化问题,但这并不能解决这个问题。
我还尝试了 clrZMQ 包装器库以及 C# 本机 NetMQ 库,这同样没有帮助,使用上述任意组合接收消息,但接收到的消息在某种程度上似乎已损坏。
这里可能出了什么问题,有什么我应该做但没有提到的吗?
我的猜测是 type
被视为 optional
,而在 C++ 中它被标记为 required
。我看不到你的模型是如何在 C# 中定义的,但是如果你使用的是 protobuf-net 的属性,你可以通过 IsRequired
属性成员强制它序列化:
[ProtoMember(42, IsRequired = true)] // change the number!
public Taurus.FeedMux.Type type {get;set;}
我有三个应用程序通过 ZeroMQ 进行通信,它们都执行不同的操作。不同的应用如下:
第一个是 C++ 应用程序,它是 "hard work" 的引擎,它将 Protobuf 消息作为来自客户端的请求,做一些工作,然后 returns Protobuf 消息返回给那个客户端(或任何连接的人,Request/Reply 模式)。这使用 0MQ 版本 4.0.4 并使用我们自己构建所需头文件的 protobuf-2.6.0,Protobuf 类 由 protoc 创建。
其次,我有一个 Java 代码并且是一个数据提供者,它使用 jeromq-0.3。4.jar 用于 ZeroMQ 消息传递和 protobuf-java- 2.6.1.jar用于Protobuf序列化等
第三,我有一个 C# 代码,它执行一些分析并有一个很好的 UI 等。这使用 Marc Gravell 的 protobuf-net (https://www.nuget.org/packages/protobuf-net/) 作为 NuGet 包和用于消息传递的 NetMQ(ZeroMQ 的本机 C# 端口)。
现在,C++ <-> Java 运行良好并且没有问题,但是,C++ <-> C# 无法正常运行。当我通过
从 C# 向 C++ "server" 发送基本请求时using (NetMQContext context = NetMQContext.Create())
using (var requestSocket = context.CreateRequestSocket())
{
requestSocket.Connect(_requestAddress); // "tcp://127.0.0.1:6500"
requestSocket.Send(mux.ToByteArray<Taurus.FeedMux>());
}
和
public static byte[] ToByteArray<T>(this T o)
where T : ProtoBuf.IExtensible
{
if (o == null)
return null;
using (MemoryStream ms = new MemoryStream())
{
ProtoBuf.Serializer.Serialize(ms, o);
return ms.ToArray();
}
}
C++ 代码收到消息,但尽管设置了强制
Taurus.FeedMux mux = new Taurus.FeedMux();
mux.type = Taurus.FeedMux.Type.OXX;
mux.oxx = Oxx.GetOxx();
我在 C++ 应用程序中遇到错误
[libprotobuff ERROR ..\message_lite.cc:123] Can't parse message of type "Taurus.FeedMux" because it is missing required fields: type
但我清楚地设置了 type
并且在 C++ 代码中,似乎设置了类型(使用调试器检查反序列化的对象)。我尝试了两个不同的 Protobuf 库(一个是我构建的,另一个是通过 NuGet 构建的 Mark Gravell 的库),因为我认为这是一个序列化问题,但这并不能解决这个问题。
我还尝试了 clrZMQ 包装器库以及 C# 本机 NetMQ 库,这同样没有帮助,使用上述任意组合接收消息,但接收到的消息在某种程度上似乎已损坏。
这里可能出了什么问题,有什么我应该做但没有提到的吗?
我的猜测是 type
被视为 optional
,而在 C++ 中它被标记为 required
。我看不到你的模型是如何在 C# 中定义的,但是如果你使用的是 protobuf-net 的属性,你可以通过 IsRequired
属性成员强制它序列化:
[ProtoMember(42, IsRequired = true)] // change the number!
public Taurus.FeedMux.Type type {get;set;}