Google Cloud Pub/Sub 具有不同的消息类型
Google Cloud Pub/Sub with different message types
在同一个应用程序中，我发送了格式完全不同且完全不相关的不同消息类型。解决此问题的最佳做法是什么？
我在这里看到两种不同的方法：
- 在应用程序级别过滤，这意味着我在同一个拉取器（同一个订阅）上接收所有消息
- 创建一个新订阅，这意味着应用程序将有两个拉取器运行（每个消息类型一个）
你用2.分回答了你的问题。如果消息具有完全不同的格式并且完全不相关，则意味着它们应该分开。在应用层过滤它们没有任何优势。 Topics/subscriptions 模型正是为此目的而制作的。
主题和订阅之间的区别可能令人困惑。所以让我也描述一下。
首先是Pub Sub的概念：
- 主题：发布者向其发送消息的命名资源。在 pub/sub 模型中，发布到主题的任何消息都会立即被该主题的所有订阅者接收。
- 订阅：代表来自单个特定主题的消息流的命名资源，将被传送到订阅应用程序。
- 消息：发布者发送到主题并最终传递给订阅者的数据和（可选）属性的组合。
- 消息属性：发布者可以为消息定义的 key-value 对。
此图演示了Pub/Sub模型
发布订阅模型允许将消息异步广播到系统的不同部分。作为消息队列的兄弟，消息主题提供了一种广播异步事件通知的机制，以及允许软件组件连接到主题以发送和接收这些消息的端点。要广播消息，称为发布者的组件只需将消息推送到主题。现在主题和订阅之间的区别是一个主题可以有多个订阅，但是给定的订阅属于一个主题。
总结一下：
- 当您想发布消息时使用主题。
- 当您想使用消息时使用订阅。
视情况而定！！一如既往，但这里取决于消息的消费方式。
- 如果它们被同一个应用程序使用，请使用同一个订阅。
- 如果消息由不同的应用程序使用（因为消息不相关且具有不同的结构）使用 2 个订阅。
使用消息属性来区分消息类型。由于这个属性，您可以创建只接受这些类型消息的订阅。这样，您可以保留相同的主题，然后自定义调度。我wrote an article on this
您可以通过三种方法解决此问题：
- 将不同类型的消息发布到不同的主题，然后为每个主题创建一个订阅，消费每个订阅的消息。
- 将不同类型的消息发布到同一个主题，创建单个订阅，并消费来自单个订阅的所有消息。
- 将不同类型的消息发布到同一主题，创建两个订阅，并在每个订阅的订阅者上按类型过滤消息。
这三个选项需要权衡取舍。如果您可以控制发布者并且可以为不同的消息类型创建完全独立的主题，这可能是一个很好的方法，因为它将不同类型的消息保存在完全独立的渠道上。可以把它想象成具有指定更具体类型的数据结构。例如，在 Java 中，人们通常更喜欢 List<String> 和 List<Integer> 而不是包含两者的 List<Object>。
但是，如果发布者为他人所有，则此方法可能不可行。如果订阅者无法知道它可能需要消费的所有主题，那么它也可能不可行。假设您添加了另一种类型的消息并创建了一个新主题。处理它需要创建另一个订阅者。如果消息类型的数量可能会变得非常大，您可能会发现自己在一个任务中有很多订阅者客户端。
如果在第二个和第三个选项之间进行选择，决定取决于您的消费模式。是同一个应用程序需要处理两种类型的消息，还是将其拆分为单独的应用程序是否有意义？如果拥有单独的应用程序有意义，那么单独的订阅是一个不错的选择。如果发布的消息有办法在属性中区分它们的类型，那么您可以使用 Pub/Sub filtering 来确保每个订阅的订阅者只收到相关消息。
如果所有消息总是由同一个应用程序使用，那么单个订阅可能最有意义。这样做的最大原因是成本：如果您有两个订阅和两个订阅者，这意味着所有消息都将被传递并支付两次。通过单一订阅并区分在应用程序级别完成的消息，消息仅传递一次（模 Cloud Pub/Sub 的 at-least-once 传递保证）。如果订阅者不知道消息类型集并且可能会随着时间的推移而增长，那么最后一个选项特别有用。
因此，如果您可以控制发布者并且可以提前知道消息集，则为每种消息类型单独设置主题是最佳选择。如果不是这种情况并且消息的处理可以由不同的应用程序完成，那么使用过滤器的不同订阅是最好的选择。如果所有消息类型的处理始终由同一个应用程序完成，或者类型的数量可能会增加，则单个订阅是最佳选择。
在同一个应用程序中，我发送了格式完全不同且完全不相关的不同消息类型。解决此问题的最佳做法是什么？
我在这里看到两种不同的方法：
- 在应用程序级别过滤，这意味着我在同一个拉取器（同一个订阅）上接收所有消息
- 创建一个新订阅，这意味着应用程序将有两个拉取器运行（每个消息类型一个）
你用2.分回答了你的问题。如果消息具有完全不同的格式并且完全不相关，则意味着它们应该分开。在应用层过滤它们没有任何优势。 Topics/subscriptions 模型正是为此目的而制作的。
主题和订阅之间的区别可能令人困惑。所以让我也描述一下。
首先是Pub Sub的概念：
- 主题：发布者向其发送消息的命名资源。在 pub/sub 模型中，发布到主题的任何消息都会立即被该主题的所有订阅者接收。
- 订阅：代表来自单个特定主题的消息流的命名资源，将被传送到订阅应用程序。
- 消息：发布者发送到主题并最终传递给订阅者的数据和（可选）属性的组合。
- 消息属性：发布者可以为消息定义的 key-value 对。
此图演示了Pub/Sub模型
发布订阅模型允许将消息异步广播到系统的不同部分。作为消息队列的兄弟，消息主题提供了一种广播异步事件通知的机制，以及允许软件组件连接到主题以发送和接收这些消息的端点。要广播消息，称为发布者的组件只需将消息推送到主题。现在主题和订阅之间的区别是一个主题可以有多个订阅，但是给定的订阅属于一个主题。
总结一下：
- 当您想发布消息时使用主题。
- 当您想使用消息时使用订阅。
视情况而定！！一如既往，但这里取决于消息的消费方式。
- 如果它们被同一个应用程序使用，请使用同一个订阅。
- 如果消息由不同的应用程序使用（因为消息不相关且具有不同的结构）使用 2 个订阅。
使用消息属性来区分消息类型。由于这个属性，您可以创建只接受这些类型消息的订阅。这样，您可以保留相同的主题，然后自定义调度。我wrote an article on this
您可以通过三种方法解决此问题：
- 将不同类型的消息发布到不同的主题，然后为每个主题创建一个订阅，消费每个订阅的消息。
- 将不同类型的消息发布到同一个主题，创建单个订阅，并消费来自单个订阅的所有消息。
- 将不同类型的消息发布到同一主题，创建两个订阅，并在每个订阅的订阅者上按类型过滤消息。
这三个选项需要权衡取舍。如果您可以控制发布者并且可以为不同的消息类型创建完全独立的主题，这可能是一个很好的方法，因为它将不同类型的消息保存在完全独立的渠道上。可以把它想象成具有指定更具体类型的数据结构。例如，在 Java 中，人们通常更喜欢 List<String> 和 List<Integer> 而不是包含两者的 List<Object>。
但是，如果发布者为他人所有，则此方法可能不可行。如果订阅者无法知道它可能需要消费的所有主题，那么它也可能不可行。假设您添加了另一种类型的消息并创建了一个新主题。处理它需要创建另一个订阅者。如果消息类型的数量可能会变得非常大，您可能会发现自己在一个任务中有很多订阅者客户端。
如果在第二个和第三个选项之间进行选择，决定取决于您的消费模式。是同一个应用程序需要处理两种类型的消息，还是将其拆分为单独的应用程序是否有意义？如果拥有单独的应用程序有意义，那么单独的订阅是一个不错的选择。如果发布的消息有办法在属性中区分它们的类型，那么您可以使用 Pub/Sub filtering 来确保每个订阅的订阅者只收到相关消息。
如果所有消息总是由同一个应用程序使用，那么单个订阅可能最有意义。这样做的最大原因是成本：如果您有两个订阅和两个订阅者，这意味着所有消息都将被传递并支付两次。通过单一订阅并区分在应用程序级别完成的消息，消息仅传递一次（模 Cloud Pub/Sub 的 at-least-once 传递保证）。如果订阅者不知道消息类型集并且可能会随着时间的推移而增长，那么最后一个选项特别有用。
因此，如果您可以控制发布者并且可以提前知道消息集，则为每种消息类型单独设置主题是最佳选择。如果不是这种情况并且消息的处理可以由不同的应用程序完成，那么使用过滤器的不同订阅是最好的选择。如果所有消息类型的处理始终由同一个应用程序完成，或者类型的数量可能会增加，则单个订阅是最佳选择。