如何将社交网络关系 csv（列表字典）文件导入 neo4j 图形数据库？

Question

我知道如何将 CSV 文件导入到 neo4j 图形数据库中，但我发现它们都是固定数量的列，如下所示：

id1,id2,id3,id4,id5

id2,id2,id3,id4,id5

id3,id2,id3,id4,id5

但是我有一个描述人与人之间关系的可变列 CSV 文件。它看起来像这样：

id1,id2,id3,id4,id5

id2,id2,id3,id4,id5, id6, id7

id3,id2,id3

这意味着id1的人关注id2,id3,id4,id5，id2的人关注id2,id3,id4,id5,id6,id7。

而且这个文件很大（大约6Gb），我应该如何将它导入neo4j？

Answer 1

这里有一些关于如何使用 Cypher LOAD CSV 子句导入的提示。要处理真正的大型数据导入任务，您可能需要查看 neo4j-import 工具。

处理不同数量的列不是问题，因为您可以将每个 CSV 文件行视为项目的集合。

您应该分两次通过 CSV 文件导入数据。在第一遍中，创建所有 Person 节点。在第二遍中，匹配适当的节点，然后在它们之间创建关系。为了大大加快第二遍的速度，您应该首先创建一个 index or a uniqueness constraint（这将为您创建一个索引）以通过 ID 匹配 Person 个节点。

我假设：

每个 Person 在您的 CSV 文件中有一行，每行的第一列都有该人的唯一 ID。
如果那个人不关注任何人，Person 的行将只有一列。
您的 neo4j 模型看起来像这样：

(p1:Person {id: 123})-[:FOLLOWS]->(p2:Person {id: 234})

首先，创建唯一性约束：

CREATE CONSTRAINT ON (p:Person) ASSERT p.id IS UNIQUE;

然后，使用 CSV 文件第一列中的 ID 创建 Person 节点。我们使用 MERGE 来确保如果第 1 列中恰好有任何重复 ID，LOAD 不会中止（由于唯一性约束）。如果您确定没有重复 ID，则可以使用 CREATE 代替，这应该更快。为避免运行内存不足，我们一次处理并提交 10000 行：

USING PERIODIC COMMIT 10000
LOAD CSV FROM "file:///varying.csv" AS row
MERGE (:Person {id: row[0]});

最后，创建适当的 Person 节点之间的关系。此查询使用 USING INDEX 提示来鼓励 Cypher 利用索引（由唯一性约束自动创建）快速找到合适的 Person 节点。同样，为了避免运行内存不足，我们一次处理 10000 行：

USING PERIODIC COMMIT 10000
LOAD CSV FROM "file:///varying.csv" AS row
WITH row[0] AS pid1, row[1..] AS followed
UNWIND followed AS pid2
MATCH (p1:Person {id: pid1}), (p2:Person {id: pid2})
USING INDEX p1:Person(id)
USING INDEX p2:Person(id)
MERGE (p1)-[:FOLLOWS]->(p2);

如何将社交网络关系 csv（列表字典）文件导入 neo4j 图形数据库？

How to import social network relation csv (dict of list) file into neo4j graph database?

database

csv

graph

social-networking

neo4j