如何克服 API/Websocket OHCL 数据对大量用户交易平台的限制?
How to overcome API/Websocket limitations with OHCL data for trading platform for lots of users?
我正在使用 CCXT 进行一些 API REST 调用以获取信息和 websockets。 1个用户没问题,如果我想让很多用户使用该平台,我将如何进行内部解决方案?
目前每个图表都在使用 websockets 或 rest 调用,如果我有 20 个图表,那么就是 20 个调用,如果我增加用户,那么无论用户是多少,都是 20 倍。如果我从 1 个交易所获得包含实时价格的完整代币列表,那只会减慢一切。
到目前为止我想到的一些想法是:
- 使用 REST/Websockets
的代理
- 使用时间刻度 DB 来存储数据并服务于 OR
- 在服务器上使用缓存,并将其提供给用户
这是一个解决方案吗?必须有一种方法来克服速率限制并减少对交易所的调用量。
可能,考虑将图层分开是个好主意:
- 接收市场数据(向 OHLC 处理器广播数据的单一连接)
- 处理 OHLC 直方图(订阅内部市场数据)
- 提供直方图数据(订阅已处理的数据)
市场数据流巨大,如果您独立考虑这些层,将很容易扩展,甚至在必要时解耦组件。
借助时间刻度,您可以构建可轻松访问和检索信息的物化视图。每个实体化视图都可以根据直方图的间隔设置continuous aggregate policy。
一直为所有用户获取所有数据不是一个好主意。
分页可以帮助首先显示可见的直方图并限制查询结果,以避免在具有大内存块的服务器中出现繁重的 IO。
我正在使用 CCXT 进行一些 API REST 调用以获取信息和 websockets。 1个用户没问题,如果我想让很多用户使用该平台,我将如何进行内部解决方案?
目前每个图表都在使用 websockets 或 rest 调用,如果我有 20 个图表,那么就是 20 个调用,如果我增加用户,那么无论用户是多少,都是 20 倍。如果我从 1 个交易所获得包含实时价格的完整代币列表,那只会减慢一切。
到目前为止我想到的一些想法是:
- 使用 REST/Websockets 的代理
- 使用时间刻度 DB 来存储数据并服务于 OR
- 在服务器上使用缓存,并将其提供给用户
这是一个解决方案吗?必须有一种方法来克服速率限制并减少对交易所的调用量。
可能,考虑将图层分开是个好主意:
- 接收市场数据(向 OHLC 处理器广播数据的单一连接)
- 处理 OHLC 直方图(订阅内部市场数据)
- 提供直方图数据(订阅已处理的数据)
市场数据流巨大,如果您独立考虑这些层,将很容易扩展,甚至在必要时解耦组件。
借助时间刻度,您可以构建可轻松访问和检索信息的物化视图。每个实体化视图都可以根据直方图的间隔设置continuous aggregate policy。
一直为所有用户获取所有数据不是一个好主意。 分页可以帮助首先显示可见的直方图并限制查询结果,以避免在具有大内存块的服务器中出现繁重的 IO。