Spring 数据的索引问题从 3.x 到 4.x 的弹性迁移

Question

在我们使用 JHIPSTER-6.10.5 的单体应用程序中，我们使用的是 Spring-Data-Elastic 版本：3.3.1 与 Elastic Search 版本：6.8.8。我们与 100 多个实体建立了多个 @ManyToOne 和 @OneToMany 关系。在某些情况下，最多 7 个实体相互引用（我的意思是相互关联，而不仅仅是从一个实体到另一个实体）。对于弹性搜索，我们一直在使用

忽略索引：@JsonIgnoreProperities(value = { "unwanted fields" }, allowSetters = true) 和 @JsonIgnore 不需要的地方
要映射关系：在 ManyToOne 上，我们使用 @JsonBackReference，并在相应的 OneToMany 关系上使用相应的 @JsonManagedReference。

现在我们正在迁移到 Jhipster-7.0.1 并开始遇到以下问题：

新增Spring-Data-Elastic 版本：4.1.6 with Elastic Search 版本：7.9.3
现在使用 Spring 弹性数据，基于 Jackson 的映射器不可用，我们看到多个 Whosebug 错误。以下是我们对注释所做的迁移更改：
1. 关于我们添加的关系 @Field(type = FieldType.Nested, ignoreMalformed = true, ignoreFields = {"unwanted fields"})。这在 Spring 数据级别停止了 Whosebug 错误，但仍然在内部弹性 rest-client 级别抛出 Whosebug 错误。因此，我们被迫使用 @Transient 来排除所有 OnetoMany 关系。
2. 即使存在与上述 @Field 注释的 ManyToOne 关系，我们仍面临弹性搜索异常“索引 [] 中总字段 [1000] 的限制已超出”
3. 我已尝试按照 spring data 上的文档进行操作，但无法解决。
4. 我们还保留了由 Jhipster 生成的 Json(Jackson) 注释，但它们没有任何效果。

我们目前处于停滞状态，因为我们不确定如何解决这些问题；就个人而言，使用 Json 注释非常方便且有据可查；我们是弹性搜索和 spring 数据弹性搜索的新手，过去 8 个月才开始使用它，无法弄清楚如何解决这些错误。请询问我是否遗漏了任何需要的信息。在不违反组织政策的情况下，我会尽可能多地分享。

gitter 上请求的示例代码存储库：https://gitlab.com/thelearner214/spring-data-es-sample

提前致谢

Answer 1

查看了您在 gitter 上 link 编辑的存储库（您可以考虑在此处添加 link）。

首先：@Field注解用于写索引映射，构建映射时需要ignoreFields属性打破循环引用。它不在将实体写入Elasticsearch时使用。

例如 Address 和 Customer 实体在写入 Elasticsearch 期间会发生什么情况：Customer 文档有 Addresses 所以这些地址被转换为嵌入的子文档在 Customer 文档中。但是 Address 有一个 Customer，所以在写入地址时 Customer 被嵌入到这个已经是客户的子文档的 Address 元素中。

我认为 Customer 不应存储在 Address 中，反之亦然。因此，您需要将这些嵌入文档标记为 @org.springframework.data.annotation.Transient，您不需要对它们添加 @Field 注释，因为您不想将它们作为属性存储在索引中。

Spring Data Elasticsearch 不再使用 Jackson 注释。

此处使用的方法的基本问题是来自关系世界的建模 - link使用（一|多）对{一|多）关系连接不同的表，由 ORM 映射器在 Java 对象图中显示 - 用于不使用这些概念的基于文档的数据存储。

它在你以前的版本中是有效的，因为旧版本的 Spring Data Elasticsearch 也使用 Jackson，所以这些字段在编写时被跳过，现在你必须添加 @Transient注释是 Spring 数据注释。

但我不知道 @Transient 会如何干扰 Spring Data JPA - 另一点表明使用相同的 Java [=47 并不是一个好主意=] 不同的商店

Answer 2

在我们重写/找到更好的解决方案之前，这是我们用作权宜之计的方法。不能像建议的那样为 ES 使用单独的 classes，因为我们有大量实体需要维护，并且“微服务迁移计划”已经在进行中。

张贴在这里，因为它可能对遇到类似问题的其他人有用。

创建了一个实用程序来序列化和反序列化实体，以利用 class 上的 Jackson 注释。例如：@JsonIgnoreProperities、@JsonIgnore 等。这样，我们就可以减少 @Transient 注释的使用，并且仍然可以获得相关对象的 ID。

package com.sample.shop.service.util;

import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.DeserializationFeature;
import com.fasterxml.jackson.databind.JavaType;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.fasterxml.jackson.databind.SerializationFeature;
import com.fasterxml.jackson.datatype.hibernate5.Hibernate5Module;

import org.jetbrains.annotations.NotNull;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.List;
import java.util.Optional;

public class ESUtils {

private static final Logger log = LoggerFactory.getLogger(ESUtils.class);

public static <T> Optional<T> mapForES(Class<T> type, T input) {
    ObjectMapper mapper = getObjectMapper();
    try {
        return Optional.ofNullable(mapper.readValue(mapper.writeValueAsString(input), type));
    } catch (JsonProcessingException e) {
        log.error("Parsing exception {} {}", e.getMessage());
        return Optional.empty();
    } 
}

public static <T> List<T> mapListForES(Class<T> type, List<T> input) {
    ObjectMapper mapper = getObjectMapper();
    try {
        JavaType javaType = mapper.getTypeFactory().constructCollectionType(List.class, type);
        String serialText = mapper.writeValueAsString(input);
        return mapper.readValue(serialText, javaType);
    } catch (JsonProcessingException e) {
        log.error("Parsing exception {} {}", e.getMessage());
    } 
}

@NotNull
private static ObjectMapper getObjectMapper() {
    ObjectMapper mapper = new ObjectMapper();
    mapper.configure(SerializationFeature.FAIL_ON_EMPTY_BEANS, false);
    mapper.configure(SerializationFeature.WRITE_SELF_REFERENCES_AS_NULL, true);
    mapper.configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false);
    Hibernate5Module module = new Hibernate5Module();
    module.disable(Hibernate5Module.Feature.FORCE_LAZY_LOADING);
    module.enable(Hibernate5Module.Feature.SERIALIZE_IDENTIFIER_FOR_LAZY_NOT_LOADED_OBJECTS);
    module.enable(Hibernate5Module.Feature.USE_TRANSIENT_ANNOTATION);
    module.enable(Hibernate5Module.Feature.REPLACE_PERSISTENT_COLLECTIONS);
    return mapper;
    }
}

然后，为了保存单个条目，调整了保存逻辑以使用上述实用程序，例如：

//    categorySearchRepository.save(result); instead of the Jhipster generated code let's use the ESUtils
ESUtils.mapForES(Category.class,category).map(res -> categorySearchRepository.save(res));

并使用第二个实用程序将列表保存到 bulk-reindex：

Page<T> categoryPage = jpaRepository.findAll(page);
List<T> categoryList = ESUtils.mapListForES(Category.class, categoryPage.getContent());
elasticsearchRepository.saveAll(categoryList);

可能不是最佳解决方案，但已完成我们的迁移工作。

Answer 3

@Lina Basuni 您可以使用 java.util.Collections.emptyList()

Spring 数据的索引问题从 3.x 到 4.x 的弹性迁移

Indexing problem with Spring Data Elastic migration from 3.x to 4.x

elasticsearch

spring-data

spring-boot

jhipster

spring-data-elasticsearch

Spring 数据的索引问题 从 3.x 到 4.x 的弹性迁移

Indexing problem with Spring Data Elastic migration from 3.x to 4.x

elasticsearch

spring-data

spring-boot

jhipster

spring-data-elasticsearch

Spring 数据的索引问题从 3.x 到 4.x 的弹性迁移