如何在 ElasticSearch NEST 7.13.2 的一个 BulkAll 方法中编写多个更新

Question

在 Visual Studio 2019

中使用 ElasticSearch NEST .Net 包 7.13.2

对于产品列表，我目前正在使用以下代码更新产品索引中的现有文档：

var productIndex = "productindex";
foreach (var product in products)
{
  productClassIdScript = $"ctx._source.productClassId = \"{product.ProductClassId}\"; ";
  elasticClient.Update<productIndex, object>(product.Id,
               q => q.Script(s => s.Source(productClassIdScript).Lang("painless")));
}

我为 10000 多种产品执行此操作，大约需要 2 个小时。我知道我可以使用批量 API 插入新文档。我可以使用 BulkAll 方法执行 updates 吗？

像这样：

var bulkAllObservable = elasticClient.BulkAll<Product>(myBulkAllRequest)
                        .Wait(TimeSpan.FromMinutes(15), next =>
                        {
                            // do something e.g. write number of pages to console
                        });

我应该如何构造myBulkAllRequest？

非常感谢任何帮助。

Answer 1

批量索引将大大减少您的索引/更新时间，所以这是一个很好的方法。

您仍然可以使用 BulkAll 进行更新，以防 elasticsearch 已经有使用提供的 id 的文档，文档将被更新。

var bulk = elasticClient.BulkAll<EsDocument>(new List<EsDocument> { new EsDocument { Id = "1", Name = "1" }}, d => d);
using var subscribe = bulk.Subscribe(new BulkAllObserver(onNext: response => Console.WriteLine("inserted")));
bulk.Wait(TimeSpan.FromMinutes(1), response => Console.WriteLine("Bulk insert done"));

var bulk2 = elasticClient.BulkAll<EsDocument>(new List<EsDocument> { new EsDocument { Id = "1", Name = "1_updated"  }}, d => d);
using var subscribe2 = bulk2.Subscribe(new BulkAllObserver(onNext: response => Console.WriteLine("inserted")));
bulk2.Wait(TimeSpan.FromMinutes(1), response => Console.WriteLine("Bulk insert done"));

首先 BulkAll 将插入带有 Id“1”的文档，其次，将使用 Id“1”更新文档。

第一次批量处理后的索引状态

第二个之后

如何在 ElasticSearch NEST 7.13.2 的一个 BulkAll 方法中编写多个更新

How can I write multiple updates in one BulkAll method in ElasticSearch NEST 7.13.2

c#

elasticsearch

nest

elasticsearch-bulk-api

visual-studio-2019