使用 golang 将千个节点插入到 neo4j
Insert thousand nodes to neo4j using golang
我正在使用 neoism
将数据导入到 neo4j,我在导入大数据时遇到了一些问题,1000 个节点,需要 8 秒。这是导入 100nodes 的代码的一部分。
非常基本的代码,需要改进,谁能帮我改进一下?
var wg sync.WaitGroup
for _, itemProps := range items {
wg.Add(1)
go func(i interface{}) {
s := time.Now()
cypher := neoism.CypherQuery{
Statement: fmt.Sprintf(`
CREATE (%v)
SET i = {Props}
RETURN i
`, ItemLabel),
Parameters: neoism.Props{"Props": i},
}
if err := database.ExecuteCypherQuery(cypher); err != nil {
utils.Error(fmt.Sprintf("error ImportItemsNeo4j! %v", err))
wg.Done()
return
}
utils.Info(fmt.Sprintf("import Item success! took: %v", time.Since(s)))
wg.Done()
}(itemProps)
}
wg.Wait()
Afaik neoism 仍然使用旧的 API,您应该改用 cq:https://github.com/go-cq/cq
你也应该批量创建,
即每个请求发送多个语句,例如每个请求 100 个语句
或者甚至更好地将参数列表发送到单个密码查询:
例如{data} 是 [{id:1},{id:2},...]
UNWIND {data} as props
CREATE (n:Label) SET n = props
我正在使用 neoism
将数据导入到 neo4j,我在导入大数据时遇到了一些问题,1000 个节点,需要 8 秒。这是导入 100nodes 的代码的一部分。
非常基本的代码,需要改进,谁能帮我改进一下?
var wg sync.WaitGroup
for _, itemProps := range items {
wg.Add(1)
go func(i interface{}) {
s := time.Now()
cypher := neoism.CypherQuery{
Statement: fmt.Sprintf(`
CREATE (%v)
SET i = {Props}
RETURN i
`, ItemLabel),
Parameters: neoism.Props{"Props": i},
}
if err := database.ExecuteCypherQuery(cypher); err != nil {
utils.Error(fmt.Sprintf("error ImportItemsNeo4j! %v", err))
wg.Done()
return
}
utils.Info(fmt.Sprintf("import Item success! took: %v", time.Since(s)))
wg.Done()
}(itemProps)
}
wg.Wait()
Afaik neoism 仍然使用旧的 API,您应该改用 cq:https://github.com/go-cq/cq
你也应该批量创建,
即每个请求发送多个语句,例如每个请求 100 个语句
或者甚至更好地将参数列表发送到单个密码查询:
例如{data} 是 [{id:1},{id:2},...]
UNWIND {data} as props
CREATE (n:Label) SET n = props