Javascript - 处理 3gb 的数据用于常规计算
Javascript - handling 3gb of data for regular calculations
我目前正在考虑我们应用程序的功能布局，因为这是迄今为止最重的部分，我不确定如何设计它：
我们希望用户能够针对大型数据集回测他们的假设。
- 数据集超过 3gb (json)
- 必须进行预处理（需要更改格式）才能用于计算
- 它可以拆分成更小的文件，因为大数据集中的主题是可分离的。
一开始我以为我阅读了我们商店中的整个文件并从那里开始工作。我只是开始怀疑内存是否会存活下来（假设什么样的消耗，运行 on aws）。
我考虑的替代方案是直接从文件中读取，但随后我需要拆分它们（最大 250mb javascript？）或流式传输它们（好主意？）。
在开始编写代码之前，我想了解如何在 Javascript 中最有效地处理这种海量（是吗？）数据。现在，一切皆有可能。
谢谢！
一月
我会将您的数据移动到数据库和服务器。我会亲自制作一个 RESTful api 来修改您将在应用程序中调用的数据库中的数据。
由于您在 Javascript 中编写，您可以为 RESTful api 创建一个节点服务器，并将数据存储到数据库中，例如 SQL 或 noSQL。然后从json文件中取出数据，放入数据库。
我建议查看所有不同的数据库类型并使用数据库来操作和保存数据。最大的问题是关系数据库与非关系数据库。阅读此内容以获取更多信息：http://jlamere.github.io/databases/
我目前正在考虑我们应用程序的功能布局，因为这是迄今为止最重的部分，我不确定如何设计它：
我们希望用户能够针对大型数据集回测他们的假设。
- 数据集超过 3gb (json)
- 必须进行预处理（需要更改格式）才能用于计算
- 它可以拆分成更小的文件，因为大数据集中的主题是可分离的。
一开始我以为我阅读了我们商店中的整个文件并从那里开始工作。我只是开始怀疑内存是否会存活下来（假设什么样的消耗，运行 on aws）。
我考虑的替代方案是直接从文件中读取，但随后我需要拆分它们（最大 250mb javascript？）或流式传输它们（好主意？）。
在开始编写代码之前，我想了解如何在 Javascript 中最有效地处理这种海量（是吗？）数据。现在，一切皆有可能。
谢谢！ 一月
我会将您的数据移动到数据库和服务器。我会亲自制作一个 RESTful api 来修改您将在应用程序中调用的数据库中的数据。
由于您在 Javascript 中编写，您可以为 RESTful api 创建一个节点服务器，并将数据存储到数据库中，例如 SQL 或 noSQL。然后从json文件中取出数据，放入数据库。
我建议查看所有不同的数据库类型并使用数据库来操作和保存数据。最大的问题是关系数据库与非关系数据库。阅读此内容以获取更多信息：http://jlamere.github.io/databases/