将数百万个数据点发送到烧瓶 API

Question

这个问题可能有点太主观了，但我正在寻找一种将数百万个数据点发送到烧瓶的最佳方法 API。

我目前的做法基本如下：

• 发送作为 JSON 对象的数据点列表，以及发送与所有数据点相关的一些信息，例如收集数据的人员和收集日期
• 这会更新两个 table，一个 Use table 记录人、日期等，然后 Data table 关联数据指向给定的用途。这一切都是作为对 Use 端点
的一个 POST 请求发生的

恐怕使用这种方法在发送数百万个数据点时可能会超时。

我正在寻找解决这个问题的方法，我一直在考虑的一些方法是

• 发送初始 POST 请求以创建 Use，然后将补丁中的数据点作为 PATCH 发送到同一端点或 POST 发送到新的 data端点
• 在 POST 请求中发送 csv，然后在服务器上解析 csv

无法在网上找到任何类似的问题，所以想看看在做这样的事情时是否有行业标准或最佳实践

Answer 1

无论您是通过 json 还是 csv 接收，它都会保留大量数据。您可能想要缩短 json 键或更改 json 数据类型以减少消耗 space。

这取决于您是否使用 api 连接到您自己的网站，因为如果是这样，您可能只是切碎数据（使用 js），然后发送几个 ajax请求防止在较慢的连接上超时。如果您想让其他人使用您的 api，那么您可能想看看 this question

上的最后一个答案