将经常更新的数组保存到数据库
Saving frequently updated arrays to database
我正在创建一个机器学习应用程序，它应该本地和经常将数字保存到数据库中。
这些数值是相互关联的，这基本上意味着我想通过 向列表中附加 一个数字来频繁更新值的时间序列。
一个理想的情况是能够保存键值对，其中键代表数组的名称（例如 train_loss），值代表时间序列。
我的第一个想法是利用 redis 但据我所知，redis 数据仅保存在 RAM 中？我想要实现的是在每条日志或每几条日志之后保存到磁盘。
我需要本地保存数据，因为此数据将被其他应用程序使用（在 javascript 中）。因此一些 JSON-like 格式会很好。
使用 JSON 文件（和 Python json 包）是一种选择，但我相信它会因为频繁更新而导致 I/O 瓶颈。
我基本上是在尝试创建像 Tensorboard 这样的网络应用程序的克隆。
我们在常用 read/post api 的托管应用程序后端使用的一项技术是同时写入 Redis 和数据库，在读取操作期间我们检查密钥是否在 Redis 中可用，如果不可用，我们阅读将其更新到 Redis，然后提供它
我正在创建一个机器学习应用程序，它应该本地和经常将数字保存到数据库中。 这些数值是相互关联的，这基本上意味着我想通过 向列表中附加 一个数字来频繁更新值的时间序列。
一个理想的情况是能够保存键值对，其中键代表数组的名称（例如 train_loss），值代表时间序列。 我的第一个想法是利用 redis 但据我所知，redis 数据仅保存在 RAM 中？我想要实现的是在每条日志或每几条日志之后保存到磁盘。
我需要本地保存数据，因为此数据将被其他应用程序使用（在 javascript 中）。因此一些 JSON-like 格式会很好。 使用 JSON 文件（和 Python json 包）是一种选择，但我相信它会因为频繁更新而导致 I/O 瓶颈。
我基本上是在尝试创建像 Tensorboard 这样的网络应用程序的克隆。
我们在常用 read/post api 的托管应用程序后端使用的一项技术是同时写入 Redis 和数据库，在读取操作期间我们检查密钥是否在 Redis 中可用，如果不可用，我们阅读将其更新到 Redis，然后提供它