应该如何托管 Event Sourcing 事件处理程序来构建读取模型?

How should Event Sourcing event handlers be hosted to construct a read model?

有各种实施 CQRS + 事件溯源架构的示例应用程序和框架,大多数描述了使用事件处理程序从存储在事件存储中的域事件创建非规范化视图。

托管此体系结构的一个示例是作为 Web api 接受写入端的命令并支持查询非规范化视图。此 Web api 可能会扩展到负载平衡场中的许多机器。

我的问题是读取模型事件处理程序托管在哪里?

可能的场景:

  1. 托管在单独主机上的单个 windows 服务中。 如果是这样,那不会造成单点故障吗?这也可能使部署复杂化,但它确实保证了单线程执行。缺点是读取模型可能会增加延迟。

  2. 作为 Web api 本身的一部分托管。 如果我使用 EventStore,例如,用于事件存储和事件订阅处理,是否会为每个单个事件触发多个处理程序(每个 Web 场进程中的一个),从而在处理程序尝试时引起争用read/write 到他们的阅读商店?或者我们保证对于给定的聚合实例,它的所有事件都将按事件版本顺序一次处理一个?

我倾向于方案 2,因为它简化了部署并且还支持需要监听事件的流程管理器。同样的情况,因为只有一个事件处理程序应该处理一个事件。

EventStore 可以处理这种情况吗?其他人如何处理最终一致架构中的事件处理?

编辑:

澄清一下,我说的是将事件数据提取到非规范化表中的过程,而不是为 CQRS 中的 "Q" 读取这些表的过程。

我想我正在寻找的是我们如何 "should" 实施和部署读取事件处理的选项 models/sagas/etc 可以支持冗余和规模,假设当然事件的处理是以幂等的方式处理的。

我读过两种可能的解决方案,用于处理在事件存储中保存为事件的数据,但我不明白应该使用哪一种。

事件总线

事件 bus/queue 用于在保存事件后发布消息,通常由存储库实现。感兴趣的人(订阅者),比如read models,或者sagas/process managers,使用bus/queue "in some way" 以幂等的方式处理它。

如果队列是pub/sub,这意味着每个下游依赖项(读取模型、sagas 等)只能支持一个进程订阅队列。多个流程意味着每个流程都处理相同的事件,然后竞争在下游进行更改。幂等处理应该解决 consistency/concurrency 问题。

如果队列是竞争消费者,我们至少可以在每个网络场节点中托管订阅者以实现冗余。尽管这需要为每个下游依赖项创建一个队列;一个给 sagas/process 管理器,一个给每个读取模型,等等,因此存储库必须发布到每个管理器以实现最终一致性。

Subscription/feed

A subscription/feed 感兴趣的各方(订阅者)按需读取事件流并从已知检查点获取事件以处理到读取模型中。

这看起来很适合在必要时重新创建读取模型。但是,按照通常的 pub/sub 模式,似乎每个下游依赖项只应使用一个订阅者进程。如果我们为同一个事件流注册多个订阅者,例如在每个网络场节点中注册一个订阅者,他们都将尝试处理和更新相同的各自读取模型。

特别是对于 EventStore,他们现在有 competing consumers,这是基于服务器的订阅,其中许多客户端可以订阅订阅组,但只有一个客户端获取消息。

听起来这就是你想要的,农场中的每个节点都可以订阅订阅组,接收消息的节点进行投影

在我们的项目中,我们使用基于订阅的预测。原因是:

  • 写入端的提交必须是事务性的,如果您使用两个基础设施(事件存储和消息总线),则必须开始使用 DTC,否则您可能会冒将事件保存到存储但不保存的风险发布到总线,或相反,取决于您的实现。 DTC 和两阶段提交是讨厌的事情,你不想走这条路
  • 事件通常在消息总线中发布(我们也通过订阅来实现),用于不同限界上下文之间的事件驱动通信。如果您使用消息订阅者来更新您的阅读模型,当您决定重建阅读模型时,您的其他订阅者也会收到这些消息,这将使系统进入无效状态。我想您在说每个发布的消息类型只能有一个订阅者时已经考虑过了。
  • 消息总线消费者无法保证消息顺序,这会使您的读取模型变得混乱。
  • 消息消费者通常通过将消息发送回队列来处理重试,通常在队列末尾进行重试。这意味着您的活动可能会变得严重混乱。此外,通常在重试一定次数后,消息消费者会放弃毒消息并将其放入某个 DLQ。如果这是您的预测,这将意味着一个更新将被忽略,而其他更新将被处理。这意味着您的读取模型将处于不一致(无效)状态。

考虑到这些原因,我们有可以做任何事情的基于单线程订阅的投影。您可以使用自己的检查点进行不同类型的预测,使用追赶订阅订阅事件存储。为了简单起见,我们将它们托管在与许多其他事物相同的进程中,但该进程仅在一台机器上运行 运行s。如果我们想扩展这个过程,我们将不得不把 subscriptions/projections 拿出来。这很容易完成,因为这部分实际上不依赖于其他模块,除了读取模型 DTO 本身,无论如何都可以作为程序集共享。

通过使用订阅,您始终可以预测已经提交的事件。如果投影出现问题,写入端绝对是真实来源,并且仍然如此,您只需要修复投影并再次运行它。

我们有两个独立的 - 一个用于投影到读取模型,另一个用于将事件发布到消息总线。事实证明,这种构造非常有效。