如何定时向第三方服务发送Redis数据？

Question

我需要在我的应用程序中构建某种分析功能。在高峰时段，我预计每秒会收到 15K 条新记录。为了提高速度，我将使用 Redis 进行写入。但是写入的数据应该被格式化并以某种方式发送到 BigQuery for OLAP。最有效的方法是什么？

我可以想到两种方法：

1. 有一个单独的应用程序将连接到同一个应用程序 Redis instance/cluster 并定期获取写入的数据和 使用 API.
批量插入到 BigQuery
2. 使用Lua脚本定期发送Redis键和值到 BigQuery.

根据我的阅读和研究，Lua 脚本似乎是一个快速的解决方案。但是我没有任何经验，也不知道有什么限制。例如，我可以通过 Redis 运行 的 Lua 脚本发送 HTTP API 调用吗？错误处理呢？

问题来了：

您有什么建议可以实现我上面提到的需求？

• a) 一个单独的应用程序
• b) Lua 脚本
• c) 混合
• d) 其他（所以，什么？）

当然，为什么？

谢谢

Answer 1

您尝试过 AfterShip BigQuery 流媒体吗？

• https://github.com/AfterShip/bigquery-streamer

它似乎完全符合您的需要：“这是一个使用流插入模式将 Redis 记录传输到 Google BigQuery 的流媒体。”