如何将 Redis Value[] 转换为反序列化对象 c#？

Question

我正在 webjob 中进行列表排序。当我使用 c# List 时它工作正常。但是为了提高性能，我将我的数据以列表的形式保存到 Redis 缓存中。

我的最终目标是只取出最近5分钟的数据。

工作 C# 代码 -

public class MyObject
    {
        public uint InstrumentID { get; set; }
        public decimal Close { get; set; }
        public decimal High { get; set; }
        public decimal Low { get; set; }
        public decimal Open { get; set; }
        public DateTime TimeStamp { get; set; }
        public uint Volume { get; set; }

        public DateTime Created { get; } = DateTime.Now;
        public DateTime Ttl { get; } = DateTime.Now.AddMinutes(5);
        public DateTime? Persisted { get; set; }

        public bool IsDead => DateTime.Now > Ttl;
        public bool IsPersisted => Persisted.HasValue;
        public bool TimeToPersist => IsPersisted == false && DateTime.Now > Created.AddMinutes(5);

        public DateTime GetStartOfPeriodByMins(int numMinutes)
        {
            int oldMinutes = TimeStamp.Minute;
            int newMinutes = (oldMinutes / numMinutes) * numMinutes;

            DateTime startOfPeriod = new DateTime(TimeStamp.Year, TimeStamp.Month, TimeStamp.Day, TimeStamp.Hour, newMinutes, 0);

            return startOfPeriod;
        }
    }

var inputList = new SortedSet<MyObject>(new MyObjectComparer());

            inputList.Add(new MyObject() { TimeStamp = DateTime.Now, Open = 9, High = 12, Low = 8, Close = 11, InstrumentID = 2526 });
            Thread.Sleep(10000);
            inputList.Add(new MyObject() { TimeStamp = DateTime.Now, Open = 9, High = 12, Low = 8, Close = 11, InstrumentID = 2526 });
            Thread.Sleep(10000);
            inputList.Add(new MyObject() { TimeStamp = DateTime.Now, Open = 9, High = 12, Low = 8, Close = 11, InstrumentID = 2526 });
            Thread.Sleep(50000);
            inputList.Add(new MyObject() { TimeStamp = DateTime.Now, Open = 9, High = 12, Low = 8, Close = 11, InstrumentID = 2526 });

            var resultSet = inputList
                .GroupBy(i => i.GetStartOfPeriodByMins(5))
                .Select(gr =>
               new
               {
                   StartOfPeriod = gr.Key,
                   Min = gr.Min(item => item.Open),
                   Max = gr.Max(item => item.Open),
                   Open = gr.OrderBy(item => item.TimeStamp).First().Open,
                   Close = gr.OrderBy(item => item.TimeStamp).Last().Open
               });

现在，我不断地将相同的记录插入到 Redis 缓存中。在尝试获取最后 5 分钟的数据时，我想使用相同的 GetStartOfPeriodByMins 概念，但它需要一个 MyObject class 和 redis return RedisValue[].

列表

Redis 代码 - 使用 StackExchange.Redis 包

var cache = RedisConnectorHelper.Connection.GetDatabase();

            //int i = 0;
            for (int i = 0; i < 10000; i++)
            {
                var tickDataHis = new MyObject()
                {
                    InstrumentID = 2526,
                    Close = 14 + i,
                    High = 16 + i,
                    Low = 11 + i,
                    Open = 12 + i,
                    TimeStamp = DateTime.Now,
                    Volume = 11111
                };

                // insert into redis
                cache.ListRightPush("tickData", JsonConvert.SerializeObject(tickDataHis));

                Thread.Sleep(3000);
            }

            var inputList = cache.ListRange("tickData");

or is there any other way to get latest 5 minutes data from redis cache?

Answer 1

我以前用Redis来存储时间序列数据。为了优化数据检索，我使用了一个排序集（在那种情况下有多个，但概念是相同的），其中分数是记录数据时的 unix 时间戳，我使用 Newtonsoft.Json图书馆。

代码是这样的：

var myData = new MyObject() { SomeProperty = "my text" };
long dataTimestamp = DateTimeOffset.Now.ToUnixTimeMilliseconds();
string serializedData = Newtonsoft.Json.JsonConvert.Convert(myData);
redisDb.SortedSetAdd("mySortedSet", dataTimestamp, serializedData);

这样做，如果想只取最近5分钟的数据，可以直接用SortedSetRangeByScore方法过滤从Redis加载的数据并传递“现在 - 5 分钟”作为起始分数，这样你就可以只反序列化你需要的东西（这当然比反序列化整个列表更便宜）：

var minutesToTake = 5;
long startingTime = DateTimeOffset.Now.AddMinutes(-minutesToTake).ToUnixTimeMilliseconds();
RedisValue[] redisData = redisDb.SortedSetRangeByScore("mySortedSet", startingTime);

之后，您可以借助 linq 轻松反序列化数据（考虑 RedisValue 实现运算符到字符串的转换）：

MyObject[] myData = redisData.Select(d => JsonConvert.DeserializeObject<MyObject>(d)).ToArray();

编辑：我没有使用@Hasan Emrah Süngü 建议的包。可能效率更高，我只是解释一下我当时的做法

编辑 2：redisDb 是我的 StackExchange.Redis.IDatabase 实例。

编辑 3：有用的参考链接：

Redis 上的数据持久化：https://redis.io/topics/data-types-intro#redis-expires-keys-with-limited-time-to-live
Redis 排序集：https://redis.io/topics/data-types-intro#redis-sorted-sets
时间序列的排序集：https://redislabs.com/redis-best-practices/time-series/sorted-set-time-series/

如何将 Redis Value[] 转换为反序列化对象 c#？

How to convert Redis Value[] into Deserialize object c#?

c#

c#-4.0

redis

stackexchange.redis