'Calloc' 尝试将 RMD 文件编入 HTML 时无法分配内存
'Calloc' could not allocate memory When trying to Knit an RMD file into an HTML
我正在尝试使用相当大的数据集（2,600,000 行，18 列）将 RMD 文件编织到 HTML 报告中，但我在同一行代码中不断出现内存错误...这里是完整的错误：
Quitting from lines 148-149 (banking_complaint_R_report.Rmd)
Error in gsub("[\n]{2,}$", "\n", x) :
'Calloc' could not allocate memory (18446744071562067968 of 1 bytes)
Calls: ... lapply -> FUN -> sew.character -> comment_out -> gsub
Execution halted
这是我在第 148-149 行的代码：
sqldf("SELECT columnX, COUNT(*) AS total FROM my_data GROUP BY columnX ORDER BY total DESC")
我已经尝试搜索这个错误并找到了一个解决方案来增加我的内存分配，我直接在 R studio 控制台中输入 memory.limit(size=100000)。但是当我尝试编织成 HTML 文件时，我仍然遇到上述相同的错误。我也试过在不打开任何其他应用程序的情况下重新启动计算机，但仍然出现错误...
我还应该注意，当我 运行 所有代码块单独工作时，只有编织成 HTML 似乎是问题所在。
我该如何解决这个问题？
在我的 sqldf 语句中使用 LIMIT 10 将查询限制为前 10 个结果。我有一些超过 60K 行的查询，我猜系统无法处理它，而且对于 knit 文件来说效率也不是很高。因此，将查询范围缩小到最高结果是我发现编写代码的唯一方法。
我正在尝试使用相当大的数据集（2,600,000 行，18 列）将 RMD 文件编织到 HTML 报告中，但我在同一行代码中不断出现内存错误...这里是完整的错误：
Quitting from lines 148-149 (banking_complaint_R_report.Rmd) Error in gsub("[\n]{2,}$", "\n", x) : 'Calloc' could not allocate memory (18446744071562067968 of 1 bytes) Calls: ... lapply -> FUN -> sew.character -> comment_out -> gsub Execution halted
这是我在第 148-149 行的代码：
sqldf("SELECT columnX, COUNT(*) AS total FROM my_data GROUP BY columnX ORDER BY total DESC")
我已经尝试搜索这个错误并找到了一个解决方案来增加我的内存分配，我直接在 R studio 控制台中输入 memory.limit(size=100000)。但是当我尝试编织成 HTML 文件时，我仍然遇到上述相同的错误。我也试过在不打开任何其他应用程序的情况下重新启动计算机，但仍然出现错误...
我还应该注意，当我 运行 所有代码块单独工作时，只有编织成 HTML 似乎是问题所在。
我该如何解决这个问题？
在我的 sqldf 语句中使用 LIMIT 10 将查询限制为前 10 个结果。我有一些超过 60K 行的查询，我猜系统无法处理它，而且对于 knit 文件来说效率也不是很高。因此，将查询范围缩小到最高结果是我发现编写代码的唯一方法。