如果查询限制很大，goroutines 中的 GORM 会冻结

Question

我决定构建创建 CSV 报告的服务。

正在使用：Go 1.12，GORM（作为 PostgreSQL ORM）

func main() {
  ... // init DB connection etc
  defer db.Close()
  go fetch(db)
  for {} // keeps open process
}

func fetch(db *gotm.DB) {
  .... // some code counts pages, creates file etc
  sqlLimit := 20000 // set limit
  for i := 0; i < pages; i++ {
    db.Table("reports_bookings"),Debug().Where(sql).Offset(i * sqlLimit).Limit(sqlLimit).Find(&myModels)
    .... // code: push it to file
  }
}

因此，当代码尝试获取数据时，它只会冻结。例如，如果减少限制并设置 100，它将运行 SQL 2 次并冻结。

Debug() 也没有显示任何内容。正如我所说，它似乎冻结了。处理器中的一个内核已加载。

没有 goroutine 也能正常工作。你能帮我弄清楚为什么它在 goroutines 中不起作用吗？

提前致谢。

编辑

也许我的方法不好，你可以建议如何解决它。最后，文件应该上传到S3（例如）

Answer 1

您需要等待所有goroutines完成后才能退出程序。

func main() {
  ... // init DB connection etc
  wg := sync.WaitGroup{}
  defer db.Close()
  wg.Add(1) // number of goroutines
  go fetch(db, &wg)
  wg.Wait() // wait for goroutines before exiting
}

func fetch(db *gotm.DB, wg *sync.WaitGroup) {
  .... // some code counts pages, creates file etc
  sqlLimit := 20000 // set limit
  for i := 0; i < pages; i++ {
    db.Table("reports_bookings"),Debug().Where(sql).Offset(i * sqlLimit).Limit(sqlLimit).Find(&myModels)
    .... // code: push it to file
    for {} // keeps open process
  }
}

否则，您的程序会在 goroutine 完成之前退出

如果查询限制很大，goroutines 中的 GORM 会冻结

GORM in goroutines freezes if large query limit

go

go-gorm