使用 zap 记录器将 protobuf 消息正确记录为未转义 JSON
Correctly log protobuf messages as unescaped JSON with zap logger
我有一个 Go 项目,我在其中使用 Zap 结构化日志记录来记录结构的内容。这就是我初始化记录器的方式:
zapLog, err := zap.NewProductionConfig().Build()
if err != nil {
panic(err)
}
最初我从我自己的带有 json 标签的结构开始,并且一切正常:
zapLog.Info("Event persisted", zap.Any("event", &event))
结果:
{"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
"msg":"Event persisted","event":{"sourceType":4, "sourceId":"some-source-id",
"type":"updated", "value":"{...}", "context":{"foo":"bar"}}}
我现在切换到 protobuf 并且我正在努力获得相同的结果。最初我只是在使用 zap.Any():
时得到了“反射地图”版本
zapLog.Info("Event persisted", zap.Any("event", &event))
{"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
"msg":"Event persisted","event":"sourceType:TYPE_X sourceId:\"some-source-id\",
type:\"updated\" value:{...}, context:<key: foo, value:bar>}
我尝试使用 jsonpb 编组器编组对象,它自身生成了正确的输出,但是,当我在 zap.String()
中使用它时,字符串被转义,所以我得到一个在每个引号前多加一组 '\'。由于稍后会处理日志,这会导致问题,因此我想避免它:
m := jsonpb.Marshaler{}
var buf bytes.Buffer
if err := m.Marshal(&buf, msg); err != nil {
// handle error
}
zapLog.Info("Event persisted", zap.ByteString("event", buf.Bytes()))
结果:
{"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
"msg":"Event persisted","event":"{\"sourceType\":\"TYPE_X\", \"sourceId\":\"some-source-id\",
\"type\":\"updated\", \"value\":\"{...}\", \"context\":{\"foo\":"bar\"}}"}
然后我尝试使用 zap.Reflect()
而不是 zap.Any()
这是我能得到的最接近我需要的东西,除了枚举被呈现为它们的数值(初始解决方案没有枚举,所以这在 pre-protobuf 解决方案中也不起作用):
zapLog.Info("Event persisted", zap.Reflect("event", &event))
结果:
{"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
"msg":"Event persisted","event":{"sourceType":4, "sourceId":"some-source-id",
"type":"updated", "value":"{...}", "context":{"foo":"bar"}}}
到目前为止我看到的唯一选择是编写我自己的 MarshalLogObject()
函数:
type ZapEvent struct {
event *Event
}
func (z *ZapEvent) MarshalLogObject(encoder zapcore.ObjectEncoder) error {
encoder.AddString("sourceType", z.event.SourceType.String()
// implement encoder for each attribute
}
func processEvent(e Event) {
...
zapLog.Info("Event persisted", zap.Object("event", &ZapEvent{event: &e}))
}
但由于它是一个复杂的结构,我宁愿使用不易出错且维护繁重的解决方案。理想情况下,我会告诉 zap 以某种方式使用 jsonpb 编组器,但我不知道这是否可行。
使用zap.Any
with a json.RawMessage
。可以直接转换jsonpb.Marshaler
:
的字节输出
foo := &pb.FooMsg{
Foo: "blah",
Bar: 1,
}
m := jsonpb.Marshaler{}
var buf bytes.Buffer
if err := m.Marshal(&buf, foo); err != nil {
// handle error
}
logger, _ := zap.NewDevelopment()
logger.Info("Event persisted", zap.Any("event", json.RawMessage(buf.Bytes())))
字节将打印为:
Event persisted {"event": {"foo":"blah","bar":"1"}}`
我相信这是最简单的方法,但是我也知道一个包 kazegusuri/go-proto-zap-marshaler
(我不隶属于它)生成 MarshalLogObject()
作为协议插件的实现。你可能也想看看那个。
我使用了另一种方法来 jsonify 原型。
由于 proto 可以自然编组,我只是将它们包装在 strict-to-json 编组器中。
并且您可以修改内部结构以使用 protojson(较新的 jsonpb)。
与之前解决方案中的封送拆收器不同,此解决方案不需要 ahead-of-logging 处理。
type jsonObjectMarshaler struct {
obj any
}
func (j *jsonObjectMarshaler) MarshalJSON() ([]byte, error) {
bytes, err := json.Marshal(j.obj)
// bytes, err := protojson.Marshal(j.obj)
if err != nil {
return nil, fmt.Errorf("json marshaling failed: %w", err)
}
return bytes, nil
}
func ZapJsonable(key string, obj any) zap.Field {
return zap.Reflect(key, &jsonObjectMarshaler{obj: obj})
}
然后使用它,只需
logger, _ := zap.NewDevelopment()
logger.Info("Event persisted", ZapJsonable("event", buf))
我有一个 Go 项目,我在其中使用 Zap 结构化日志记录来记录结构的内容。这就是我初始化记录器的方式:
zapLog, err := zap.NewProductionConfig().Build()
if err != nil {
panic(err)
}
最初我从我自己的带有 json 标签的结构开始,并且一切正常:
zapLog.Info("Event persisted", zap.Any("event", &event))
结果:
{"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
"msg":"Event persisted","event":{"sourceType":4, "sourceId":"some-source-id",
"type":"updated", "value":"{...}", "context":{"foo":"bar"}}}
我现在切换到 protobuf 并且我正在努力获得相同的结果。最初我只是在使用 zap.Any():
时得到了“反射地图”版本zapLog.Info("Event persisted", zap.Any("event", &event))
{"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
"msg":"Event persisted","event":"sourceType:TYPE_X sourceId:\"some-source-id\",
type:\"updated\" value:{...}, context:<key: foo, value:bar>}
我尝试使用 jsonpb 编组器编组对象,它自身生成了正确的输出,但是,当我在 zap.String()
中使用它时,字符串被转义,所以我得到一个在每个引号前多加一组 '\'。由于稍后会处理日志,这会导致问题,因此我想避免它:
m := jsonpb.Marshaler{}
var buf bytes.Buffer
if err := m.Marshal(&buf, msg); err != nil {
// handle error
}
zapLog.Info("Event persisted", zap.ByteString("event", buf.Bytes()))
结果:
{"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
"msg":"Event persisted","event":"{\"sourceType\":\"TYPE_X\", \"sourceId\":\"some-source-id\",
\"type\":\"updated\", \"value\":\"{...}\", \"context\":{\"foo\":"bar\"}}"}
然后我尝试使用 zap.Reflect()
而不是 zap.Any()
这是我能得到的最接近我需要的东西,除了枚举被呈现为它们的数值(初始解决方案没有枚举,所以这在 pre-protobuf 解决方案中也不起作用):
zapLog.Info("Event persisted", zap.Reflect("event", &event))
结果:
{"level":"info","ts":1626448680.69099,"caller":"persisters/log.go:56",
"msg":"Event persisted","event":{"sourceType":4, "sourceId":"some-source-id",
"type":"updated", "value":"{...}", "context":{"foo":"bar"}}}
到目前为止我看到的唯一选择是编写我自己的 MarshalLogObject()
函数:
type ZapEvent struct {
event *Event
}
func (z *ZapEvent) MarshalLogObject(encoder zapcore.ObjectEncoder) error {
encoder.AddString("sourceType", z.event.SourceType.String()
// implement encoder for each attribute
}
func processEvent(e Event) {
...
zapLog.Info("Event persisted", zap.Object("event", &ZapEvent{event: &e}))
}
但由于它是一个复杂的结构,我宁愿使用不易出错且维护繁重的解决方案。理想情况下,我会告诉 zap 以某种方式使用 jsonpb 编组器,但我不知道这是否可行。
使用zap.Any
with a json.RawMessage
。可以直接转换jsonpb.Marshaler
:
foo := &pb.FooMsg{
Foo: "blah",
Bar: 1,
}
m := jsonpb.Marshaler{}
var buf bytes.Buffer
if err := m.Marshal(&buf, foo); err != nil {
// handle error
}
logger, _ := zap.NewDevelopment()
logger.Info("Event persisted", zap.Any("event", json.RawMessage(buf.Bytes())))
字节将打印为:
Event persisted {"event": {"foo":"blah","bar":"1"}}`
我相信这是最简单的方法,但是我也知道一个包 kazegusuri/go-proto-zap-marshaler
(我不隶属于它)生成 MarshalLogObject()
作为协议插件的实现。你可能也想看看那个。
我使用了另一种方法来 jsonify 原型。
由于 proto 可以自然编组,我只是将它们包装在 strict-to-json 编组器中。
并且您可以修改内部结构以使用 protojson(较新的 jsonpb)。
与之前解决方案中的封送拆收器不同,此解决方案不需要 ahead-of-logging 处理。
type jsonObjectMarshaler struct {
obj any
}
func (j *jsonObjectMarshaler) MarshalJSON() ([]byte, error) {
bytes, err := json.Marshal(j.obj)
// bytes, err := protojson.Marshal(j.obj)
if err != nil {
return nil, fmt.Errorf("json marshaling failed: %w", err)
}
return bytes, nil
}
func ZapJsonable(key string, obj any) zap.Field {
return zap.Reflect(key, &jsonObjectMarshaler{obj: obj})
}
然后使用它,只需
logger, _ := zap.NewDevelopment()
logger.Info("Event persisted", ZapJsonable("event", buf))