Apache Storm - 使用多个喷口？
Apache Storm - use multiple spouts?
所以我正在尝试将我的 spout 配置为从 Amazon SQS 队列中读取。现在，我想要一种可以跨多个 spout 分担负载的情况。
我知道可以有多个线程，但是我可以有两个或更多不同的 spout instances/applications 从同一个队列读取并发送到同一个拓扑结构吗？例如。 Spout A 和 Spout B 从 SQS 读取，然后都发送到 bolt C?
当然，您可以有多个 spout，但您必须相应地定义它们以防止同一元素的双重提交（或者您的拓扑在设计上确实接受了）。例如，同一元素的多个进程意味着错误的计数器。
首先检查每个 spout/bolt 的执行器（线程）和任务（实例）的 Storm 并发性，然后选择您想要的数量。
在你的代码中，你必须确保你没有管理相同的元组两次或更多次，要么你在暴风雨之前这样做（一个不接受两次相同元素的队列被处理/清空例如，通过许多 spout 或多个队列 - 每个 spout 一个，当心事务）或者你在 storm 中这样做（处理消息只在一个 spout 中使用 x 参数，在另一个 spout 中使用 y 并且消息不能是 x 和 y同时）。
SQS 队列 -----> Spout（N 个执行程序）。
这个模型会非常好。一旦任何执行程序实例将接收消息，消息将从 SQS 中变得不可见。
保持消息不可见时间比 Storm 拓扑中的消息处理时间高得多。
您可以保留ack方法中的删除SQS消息逻辑。
所以我正在尝试将我的 spout 配置为从 Amazon SQS 队列中读取。现在，我想要一种可以跨多个 spout 分担负载的情况。
我知道可以有多个线程，但是我可以有两个或更多不同的 spout instances/applications 从同一个队列读取并发送到同一个拓扑结构吗？例如。 Spout A 和 Spout B 从 SQS 读取，然后都发送到 bolt C?
当然，您可以有多个 spout，但您必须相应地定义它们以防止同一元素的双重提交（或者您的拓扑在设计上确实接受了）。例如，同一元素的多个进程意味着错误的计数器。
首先检查每个 spout/bolt 的执行器（线程）和任务（实例）的 Storm 并发性，然后选择您想要的数量。
在你的代码中，你必须确保你没有管理相同的元组两次或更多次，要么你在暴风雨之前这样做（一个不接受两次相同元素的队列被处理/清空例如，通过许多 spout 或多个队列 - 每个 spout 一个，当心事务）或者你在 storm 中这样做（处理消息只在一个 spout 中使用 x 参数，在另一个 spout 中使用 y 并且消息不能是 x 和 y同时）。
SQS 队列 -----> Spout（N 个执行程序）。
这个模型会非常好。一旦任何执行程序实例将接收消息，消息将从 SQS 中变得不可见。
保持消息不可见时间比 Storm 拓扑中的消息处理时间高得多。
您可以保留ack方法中的删除SQS消息逻辑。