如何在解组 MongoDB 文档时忽略空值？
How to ignore nulls while unmarshalling a MongoDB document?
我想知道是否有任何方法可以让我在将 MongoDB 文档解组为 Go 结构时忽略空类型。
现在我有一些自动生成的 Go 结构，像这样：
type User struct {
Name string `bson:"name"`
Email string `bson:"email"`
}
更改此结构中声明的类型不是一个选项，这就是问题所在；在我无法完全控制的 MongoDB 数据库中，一些文档插入了空值，而我原本不希望出现空值。像这样：
{
"name": "John Doe",
"email": null
}
由于在我的结构中声明的字符串类型不是指针，它们无法接收 nil 值，所以每当我尝试在我的结构中解组此文档时，它 returns 一个错误.
防止将此类文档插入数据库是理想的解决方案，但对于我的用例，忽略空值也是可以接受的。因此，在解组文档后，我的用户实例将如下所示
User {
Name: "John Doe",
Email: "",
}
我试图找到一些注释标志，或者可以传递给方法 Find/FindOne 的选项，甚至可能是查询参数以防止返回任何字段包含来自数据库的空值。到现在还没有成功。
mongo-go-driver 中是否有针对此问题的内置解决方案？
你可以通过运营商$exists and Query for Null or Missing Fields进行详细的解释。
在 mongo-go-driver 中，您可以尝试以下查询：
电子邮件 => nil 查询 匹配包含 电子邮件字段 的文档 ，其值为 nil 或 不包含电子邮件字段.
cursor, err := coll.Find(
context.Background(),
bson.D{
{"email", nil},
})
您只需在上述查询中添加 $ne 运算符即可获取没有字段 email 或 email 中没有值 nil 的记录。有关运算符 $ne
的更多详细信息
问题是当前的 bson 编解码器不支持将 string 编码/解码为 null。
处理这个问题的一种方法是为 string 类型创建一个自定义解码器，我们在其中处理 null 值：我们只使用空字符串（更重要的是不报告错误） .
自定义解码器由类型描述 bsoncodec.ValueDecoder. They can be registered at a bsoncodec.Registry, using a bsoncodec.RegistryBuilder 例如。
可以在多个级别设置/应用注册表，甚至是整个 mongo.Client, or to a mongo.Database or just to a mongo.Collection, when acquiring them, as part of their options, e.g. options.ClientOptions.SetRegistry()。
首先让我们看看如何为 string 执行此操作，接下来我们将看看如何改进/推广任何类型的解决方案。
1。处理 null 个字符串
首先，让我们创建一个自定义字符串解码器，它可以将 null 转换为（n 空）字符串：
import (
"go.mongodb.org/mongo-driver/bson/bsoncodec"
"go.mongodb.org/mongo-driver/bson/bsonrw"
"go.mongodb.org/mongo-driver/bson/bsontype"
)
type nullawareStrDecoder struct{}
func (nullawareStrDecoder) DecodeValue(dctx bsoncodec.DecodeContext, vr bsonrw.ValueReader, val reflect.Value) error {
if !val.CanSet() || val.Kind() != reflect.String {
return errors.New("bad type or not settable")
}
var str string
var err error
switch vr.Type() {
case bsontype.String:
if str, err = vr.ReadString(); err != nil {
return err
}
case bsontype.Null: // THIS IS THE MISSING PIECE TO HANDLE NULL!
if err = vr.ReadNull(); err != nil {
return err
}
default:
return fmt.Errorf("cannot decode %v into a string type", vr.Type())
}
val.SetString(str)
return nil
}
好的，现在让我们看看如何将这个自定义字符串解码器用于 mongo.Client:
clientOpts := options.Client().
ApplyURI("mongodb://localhost:27017/").
SetRegistry(
bson.NewRegistryBuilder().
RegisterDecoder(reflect.TypeOf(""), nullawareStrDecoder{}).
Build(),
)
client, err := mongo.Connect(ctx, clientOpts)
从现在开始，使用这个 client，每当你将结果解码为 string 值时，这个注册的 nullawareStrDecoder 解码器将被调用来处理转换，它接受 bson null 值并设置 Go 空字符串 "".
但我们可以做得更好...继续阅读...
2。处理 null 任何类型的值："type-neutral" 空感知解码器
一种方法是创建一个单独的自定义解码器并为我们希望处理的每种类型注册它。这似乎是很多工作。
我们可以（并且应该）做的是创建一个单独的 "type-neutral" 自定义解码器，它只处理 nulls，如果 BSON 值不是 null，应该调用默认解码器来处理非 null 值。
这非常简单：
type nullawareDecoder struct {
defDecoder bsoncodec.ValueDecoder
zeroValue reflect.Value
}
func (d *nullawareDecoder) DecodeValue(dctx bsoncodec.DecodeContext, vr bsonrw.ValueReader, val reflect.Value) error {
if vr.Type() != bsontype.Null {
return d.defDecoder.DecodeValue(dctx, vr, val)
}
if !val.CanSet() {
return errors.New("value not settable")
}
if err := vr.ReadNull(); err != nil {
return err
}
// Set the zero value of val's type:
val.Set(d.zeroValue)
return nil
}
我们只需要弄清楚 nullawareDecoder.defDecoder 使用什么。为此，我们可以使用默认注册表：bson.DefaultRegistry，我们可以查找各个类型的默认解码器。酷
所以我们现在要做的是为我们想要处理 null 的所有类型注册一个 nullawareDecoder 的值。这并不难。我们只是列出了我们想要的类型（或这些类型的值），我们可以用一个简单的循环来处理所有的事情：
customValues := []interface{}{
"", // string
int(0), // int
int32(0), // int32
}
rb := bson.NewRegistryBuilder()
for _, v := range customValues {
t := reflect.TypeOf(v)
defDecoder, err := bson.DefaultRegistry.LookupDecoder(t)
if err != nil {
panic(err)
}
rb.RegisterDecoder(t, &nullawareDecoder{defDecoder, reflect.Zero(t)})
}
clientOpts := options.Client().
ApplyURI("mongodb://localhost:27017/").
SetRegistry(rb.Build())
client, err := mongo.Connect(ctx, clientOpts)
在上面的示例中，我为 string、int 和 int32 注册了空感知解码器，但您可以根据自己的喜好扩展此列表，只需添加所需的值键入上面的 customValues 切片。
如果您提前知道 mongoDB 记录中哪些字段可能为空，则可以在结构中使用指针：
type User struct {
Name string `bson:"name"` // Will still fail to decode if null in Mongo
Email *string `bson:"email"` // Will be nil in go if null in Mongo
}
请记住，现在您需要围绕从 mongo 解码后使用此值的任何内容编写更具防御性的代码，例如：
var reliableVal string
if User.Email != nil {
reliableVal = *user.Email
} else {
reliableVal = ""
}
我想知道是否有任何方法可以让我在将 MongoDB 文档解组为 Go 结构时忽略空类型。
现在我有一些自动生成的 Go 结构，像这样：
type User struct {
Name string `bson:"name"`
Email string `bson:"email"`
}
更改此结构中声明的类型不是一个选项，这就是问题所在；在我无法完全控制的 MongoDB 数据库中，一些文档插入了空值，而我原本不希望出现空值。像这样：
{
"name": "John Doe",
"email": null
}
由于在我的结构中声明的字符串类型不是指针，它们无法接收 nil 值，所以每当我尝试在我的结构中解组此文档时，它 returns 一个错误.
防止将此类文档插入数据库是理想的解决方案，但对于我的用例，忽略空值也是可以接受的。因此，在解组文档后，我的用户实例将如下所示
User {
Name: "John Doe",
Email: "",
}
我试图找到一些注释标志，或者可以传递给方法 Find/FindOne 的选项，甚至可能是查询参数以防止返回任何字段包含来自数据库的空值。到现在还没有成功。
mongo-go-driver 中是否有针对此问题的内置解决方案？
你可以通过运营商$exists and Query for Null or Missing Fields进行详细的解释。
在 mongo-go-driver 中，您可以尝试以下查询：
电子邮件 => nil 查询 匹配包含 电子邮件字段 的文档 ，其值为 nil 或 不包含电子邮件字段.
cursor, err := coll.Find(
context.Background(),
bson.D{
{"email", nil},
})
您只需在上述查询中添加 $ne 运算符即可获取没有字段 email 或 email 中没有值 nil 的记录。有关运算符 $ne
问题是当前的 bson 编解码器不支持将 string 编码/解码为 null。
处理这个问题的一种方法是为 string 类型创建一个自定义解码器，我们在其中处理 null 值：我们只使用空字符串（更重要的是不报告错误） .
自定义解码器由类型描述 bsoncodec.ValueDecoder. They can be registered at a bsoncodec.Registry, using a bsoncodec.RegistryBuilder 例如。
可以在多个级别设置/应用注册表，甚至是整个 mongo.Client, or to a mongo.Database or just to a mongo.Collection, when acquiring them, as part of their options, e.g. options.ClientOptions.SetRegistry()。
首先让我们看看如何为 string 执行此操作，接下来我们将看看如何改进/推广任何类型的解决方案。
1。处理 null 个字符串
首先，让我们创建一个自定义字符串解码器，它可以将 null 转换为（n 空）字符串：
import (
"go.mongodb.org/mongo-driver/bson/bsoncodec"
"go.mongodb.org/mongo-driver/bson/bsonrw"
"go.mongodb.org/mongo-driver/bson/bsontype"
)
type nullawareStrDecoder struct{}
func (nullawareStrDecoder) DecodeValue(dctx bsoncodec.DecodeContext, vr bsonrw.ValueReader, val reflect.Value) error {
if !val.CanSet() || val.Kind() != reflect.String {
return errors.New("bad type or not settable")
}
var str string
var err error
switch vr.Type() {
case bsontype.String:
if str, err = vr.ReadString(); err != nil {
return err
}
case bsontype.Null: // THIS IS THE MISSING PIECE TO HANDLE NULL!
if err = vr.ReadNull(); err != nil {
return err
}
default:
return fmt.Errorf("cannot decode %v into a string type", vr.Type())
}
val.SetString(str)
return nil
}
好的，现在让我们看看如何将这个自定义字符串解码器用于 mongo.Client:
clientOpts := options.Client().
ApplyURI("mongodb://localhost:27017/").
SetRegistry(
bson.NewRegistryBuilder().
RegisterDecoder(reflect.TypeOf(""), nullawareStrDecoder{}).
Build(),
)
client, err := mongo.Connect(ctx, clientOpts)
从现在开始，使用这个 client，每当你将结果解码为 string 值时，这个注册的 nullawareStrDecoder 解码器将被调用来处理转换，它接受 bson null 值并设置 Go 空字符串 "".
但我们可以做得更好...继续阅读...
2。处理 null 任何类型的值："type-neutral" 空感知解码器
一种方法是创建一个单独的自定义解码器并为我们希望处理的每种类型注册它。这似乎是很多工作。
我们可以（并且应该）做的是创建一个单独的 "type-neutral" 自定义解码器，它只处理 nulls，如果 BSON 值不是 null，应该调用默认解码器来处理非 null 值。
这非常简单：
type nullawareDecoder struct {
defDecoder bsoncodec.ValueDecoder
zeroValue reflect.Value
}
func (d *nullawareDecoder) DecodeValue(dctx bsoncodec.DecodeContext, vr bsonrw.ValueReader, val reflect.Value) error {
if vr.Type() != bsontype.Null {
return d.defDecoder.DecodeValue(dctx, vr, val)
}
if !val.CanSet() {
return errors.New("value not settable")
}
if err := vr.ReadNull(); err != nil {
return err
}
// Set the zero value of val's type:
val.Set(d.zeroValue)
return nil
}
我们只需要弄清楚 nullawareDecoder.defDecoder 使用什么。为此，我们可以使用默认注册表：bson.DefaultRegistry，我们可以查找各个类型的默认解码器。酷
所以我们现在要做的是为我们想要处理 null 的所有类型注册一个 nullawareDecoder 的值。这并不难。我们只是列出了我们想要的类型（或这些类型的值），我们可以用一个简单的循环来处理所有的事情：
customValues := []interface{}{
"", // string
int(0), // int
int32(0), // int32
}
rb := bson.NewRegistryBuilder()
for _, v := range customValues {
t := reflect.TypeOf(v)
defDecoder, err := bson.DefaultRegistry.LookupDecoder(t)
if err != nil {
panic(err)
}
rb.RegisterDecoder(t, &nullawareDecoder{defDecoder, reflect.Zero(t)})
}
clientOpts := options.Client().
ApplyURI("mongodb://localhost:27017/").
SetRegistry(rb.Build())
client, err := mongo.Connect(ctx, clientOpts)
在上面的示例中，我为 string、int 和 int32 注册了空感知解码器，但您可以根据自己的喜好扩展此列表，只需添加所需的值键入上面的 customValues 切片。
如果您提前知道 mongoDB 记录中哪些字段可能为空，则可以在结构中使用指针：
type User struct {
Name string `bson:"name"` // Will still fail to decode if null in Mongo
Email *string `bson:"email"` // Will be nil in go if null in Mongo
}
请记住，现在您需要围绕从 mongo 解码后使用此值的任何内容编写更具防御性的代码，例如：
var reliableVal string
if User.Email != nil {
reliableVal = *user.Email
} else {
reliableVal = ""
}