加载 .json 文件数据到 Postgres for Rails 5 API
Load .json file data to Postgres for Rails 5 API
终端 objective 会将 160 万条记录引入 Postgres，以便在我的 Rails 5 API 应用程序中发现。我有 45 个 .json 文件，每个文件都包含一个 json 对象数组。每个文件都有 2k 到 30k 个对象。文件大小从 6MB 到 188MB 不等。我尝试使用 seed.db 文件并以这种方式读取文件，但内存利用率太高。然后我使用 yajl gem 将文件视为流，但在较大的文件中，我会在一段时间后收到网络错误，因为写入每个对象的过程最多需要一个小时。
是否有更有效的内存方式来通过 seed.db 或 Rails 本身的其他机制来处理摄取大文件？
是否有专门用于处理将包含对象数组的 json 文件摄取到 Postgres 中的工具？我看到了 pgfutter，但我无法在 Mac.
上使用该工具进行初始化
通过使用 Sqlize 将 json 文件转换为 SQL 查询解决了这个问题。从那里很容易。
终端 objective 会将 160 万条记录引入 Postgres，以便在我的 Rails 5 API 应用程序中发现。我有 45 个 .json 文件，每个文件都包含一个 json 对象数组。每个文件都有 2k 到 30k 个对象。文件大小从 6MB 到 188MB 不等。我尝试使用 seed.db 文件并以这种方式读取文件，但内存利用率太高。然后我使用 yajl gem 将文件视为流，但在较大的文件中，我会在一段时间后收到网络错误，因为写入每个对象的过程最多需要一个小时。
是否有更有效的内存方式来通过 seed.db 或 Rails 本身的其他机制来处理摄取大文件？
是否有专门用于处理将包含对象数组的 json 文件摄取到 Postgres 中的工具？我看到了 pgfutter，但我无法在 Mac.
上使用该工具进行初始化通过使用 Sqlize 将 json 文件转换为 SQL 查询解决了这个问题。从那里很容易。