在 C# 中，如何从 Azure 服务总线队列中获取所有消息？

Question

因为我需要删除重复的消息并延迟处理一些“太新”的消息（由消息的最新副本确定），我想一次处理服务总线队列的全部内容.

我不确定我能收到多少条消息，但我非常乐观地认为它通常不应该是数百条，更不用说我认为的数千条可能是 ReceiveAsync (int maxMessageCount, TimeSpan operationTimeout) 的限制。然而，事实证明，无论该值多高，我只能在

的单次调用中读取大约 30 到 50 条消息

        private async Task<IList<MicrosoftMessage>> Receive(IQueueConfig queueConfig) =>
                await _messageReceiverLookup.GetMessageReceiver(queueConfig.QueueName)
                    .ReceiveAsync(queueConfig.MaximumRecords, TimeSpan.FromSeconds(10));

我试着用一些额外的逻辑来包装它，比如：

            List<MicrosoftMessage> messages = new();
            List<MicrosoftMessage> newMessages = new();
            do
            {
                newMessages = await ReceiveMessages(queueHandler, cancellationToken);
                messages.AddRange(newMessages);
            }
            while (
              newMessages.Count > 0 
              && messages.Count > 0 
              &&  messages.Count < queueHandler.QueueConfig.MaximumRecords
            );

但发现这永远不会结束，因为系统会多次读取同一条消息。

然后我尝试了这个：

          Dictionary<string, MicrosoftMessage> previosMessagesByToken;
            Dictionary<string, MicrosoftMessage> allMessagesByToken = new();
            List<MicrosoftMessage> newMessages;
            do
            {
                previosMessagesByToken = allMessagesByToken;

                newMessages = await ReceiveMessages(queueHandler, cancellationToken);
                Dictionary<string, MicrosoftMessage> newMessagesByToken = newMessages.ToDictionary(x => x.SystemProperties.LockToken, x => x);

                // Ensure we only collect each message once!
                allMessagesByToken = allMessagesByToken.Concat(newMessagesByToken.Where(kvp => !allMessagesByToken.ContainsKey(kvp.Key)))
                    .ToDictionary(kvp => kvp.Key, kvp => kvp.Value);
 }
            while (
                    newMessages.Count > 0
                    && allMessagesByToken.Count > previosMessagesByToken.Count
                    && allMessagesByToken.Count < queueHandler.QueueConfig.MaximumRecords
                );

这似乎可行，但一方面，我有直觉这不应该这么复杂。此外，我并不完全相信这一点，因为我不完全理解为什么我没有收到所有消息，也不完全理解为什么我收到重复的消息，所以我不禁觉得这个算法可能会以某种方式允许一些消息落在裂缝，是不包括的非重复。

有没有更好的方法可以获取所有消息？

Answer 1

一些基本假设：

请求的消息数不保证是发送的消息数。
在 PeekLock 模式下收到的消息将在某个时候锁定过期并被传递。

如果您的 objective 要耗尽所有消息，您应该完成您收到的消息或在 ReceiveAndDelete 模式下接收。这样您就不会再收到相同的消息。如果您试图查看队列中的消息，那么您的 LockDuration 需要足够长以确保所有消息都被查看。

I need to remove duplicate messages and delay processing some messages which are "too new" (as determined by the most recent copy of a message), I want to handle the entire contents of Service Bus Queue all at once.

更大的问题似乎是试图像处理数据库中的记录一样处理队列中的消息。重复检测已经是 Azure 服务总线的一项功能。延迟消息也是如此。但这需要与批处理不同的方法。

在 C# 中，如何从 Azure 服务总线队列中获取所有消息？

In C#, How can I get ALL the messages out of an Azure Service Bus Queue?

c#

message-queue

bulk

azure-servicebus-queues

receiver