Cypher 加载 CSV 急切且操作持续时间长

我正在加载一个包含 85K 行的文件 - 19M， 服务器有2个核心，14GB RAM，运行centos 7.1和oracle JDK 8 这可能需要5-10分钟使用以下服务器配置：

dbms.pagecache.memory=8g                  
cypher_parser_version=2.0  
wrapper.java.initmemory=4096  
wrapper.java.maxmemory=4096

磁盘挂载在 /etc/fstab 中：

UUID=fc21456b-afab-4ff0-9ead-fdb31c14151a /mnt/neodata            
ext4    defaults,noatime,barrier=0      1  2

将其添加到 /etc/security/limits.conf 中：

*                soft      memlock         unlimited
*                hard      memlock         unlimited
*                soft      nofile          40000
*                hard      nofile          40000

将其添加到 /etc/pam.d/su

session         required        pam_limits.so

将其添加到 /etc/sysctl.conf 中：

vm.dirty_background_ratio = 50
vm.dirty_ratio = 80

通过运行禁用日志：

 sudo e2fsck /dev/sdc1
 sudo tune2fs /dev/sdc1
 sudo tune2fs -o journal_data_writeback /dev/sdc1
 sudo tune2fs -O ^has_journal /dev/sdc1
 sudo e2fsck -f /dev/sdc1
 sudo dumpe2fs /dev/sdc1

除此之外， 当运行探查器时，我得到很多“渴望”，我真的不明白为什么：

 PROFILE LOAD CSV WITH HEADERS FROM 'file:///home/csv10.csv' AS line
 FIELDTERMINATOR '|'
 WITH line limit 0
 MERGE (session :Session { wz_session:line.wz_session })
 MERGE (page :Page { page_key:line.domain+line.page }) 
   ON CREATE SET page.name=line.page, page.domain=line.domain, 
 page.protocol=line.protocol,page.file=line.file


Compiler CYPHER 2.3

Planner RULE

Runtime INTERPRETED

+---------------+------+---------+---------------------+--------------------------------------------------------+
| Operator      | Rows | DB Hits | Identifiers         | Other                                                  |
+---------------+------+---------+---------------------+--------------------------------------------------------+
| +EmptyResult  |    0 |       0 |                     |                                                        |
| |             +------+---------+---------------------+--------------------------------------------------------+
| +UpdateGraph  |    9 |       9 | line, page, session | MergeNode; Add(line.domain,line.page); :Page(page_key) |
| |             +------+---------+---------------------+--------------------------------------------------------+
| +Eager        |    9 |       0 | line, session       |                                                        |
| |             +------+---------+---------------------+--------------------------------------------------------+
| +UpdateGraph  |    9 |       9 | line, session       | MergeNode; line.wz_session; :Session(wz_session)       |
| |             +------+---------+---------------------+--------------------------------------------------------+
| +ColumnFilter |    9 |       0 | line                | keep columns line                                      |
| |             +------+---------+---------------------+--------------------------------------------------------+
| +Filter       |    9 |       0 | anon[181], line     | anon[181]                                              |
| |             +------+---------+---------------------+--------------------------------------------------------+
| +Extract      |    9 |       0 | anon[181], line     | anon[181]                                              |
| |             +------+---------+---------------------+--------------------------------------------------------+
| +LoadCSV      |    9 |       0 | line                |                                                        |
+---------------+------+---------+---------------------+--------------------------------------------------------+

所有标签和属性都有索引/约束 谢谢您的帮助 利奥尔

He Lior,

我们试图在这里解释一下预加载：

马克的原始博客文章在这里：http://www.markhneedham.com/blog/2014/10/23/neo4j-cypher-avoiding-the-eager/ http://www.markhneedham.com/blog/2014/10/23/neo4j-cypher-avoiding-the-eager/

Rik 试图用更简单的术语来解释它：

http://blog.bruggen.com/2015/07/loading-belgian-corporate-registry-into_20.html http://blog.bruggen.com/2015/07/loading-belgian-corporate-registry-into_20.html

尝试理解“热切操作”

我之前读过这一点，但直到 Andres 再次向我解释时才真正理解它：在所有正常操作中，Cypher 都会延迟加载数据。例如，请参阅手册中的此页面 - 它基本上只是在执行操作时将尽可能少的内容加载到内存中。这种懒惰通常是一件好事。但它也会给你带来很多麻烦 - 正如迈克尔向我解释的那样：

“Cypher 试图履行不同操作的合同 一个声明内不会互相影响。否则你可能会 不确定的行为或无限循环。想象一个 像这样的声明：
MATCH (n:Foo) WHERE n.value > 100 CREATE (m:Foo {m.value = n.value + 100});

如果这两个陈述不是 隔离，那么 CREATE 生成的每个节点都会导致 MATCH 再次匹配等等，无限循环。这就是为什么在这种情况下，Cypher 急切地运行所有 MATCH 语句直至耗尽，以便所有 中间结果被累积并保存（在内存中）。

通常 对于大多数操作来说这不是问题，因为我们大多只匹配几个 最多十万个元素

使用 LOAD CSV 导入数据， 但是，此操作将拉入 CSV 的所有行（其中 可能是数百万），急切地执行所有操作（这可能是 数百万次创建/合并/匹配）并保留中间结果 结果存储在内存中以供后续操作使用。

这也是 有效地禁用 PERIODIC COMMIT 因为当我们到达末尾时 所有创建操作都已经执行的语句 发生了，巨大的德克萨斯州已经积累起来。”

这就是我的负载 csv 查询发生的情况。 MATCH/MERGE/CREATE 导致将急切的管道添加到执行计划中，并且它有效地禁用了“使用定期提交”的操作批处理。显然，即使使用看似简单的 LOAD CSV 语句，不少用户也会遇到此问题。很多时候你可以避免它，但有时你却无法避免。”