如何使用 RDFLib 解析大数据集？

我正在尝试使用 RDFLib 3.0 解析几个大图，显然它处理第一个图并在第二个图上死掉（MemoryError）...看起来 MySQL 不再支持作为存储，您能建议一种以某种方式解析这些图的方法吗？

Traceback (most recent call last):
  File "names.py", line 152, in <module>
    main()
  File "names.py", line 91, in main
    locals()[graphname].parse(filename, format="nt")
  File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/graph.py", line 938, in parse
    location=location, file=file, data=data, **args)
  File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/graph.py", line 757, in parse
    parser.parse(source, self, **args)
  File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/plugins/parsers/nt.py", line 24, in parse
    parser.parse(f)
  File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/plugins/parsers/ntriples.py", line 124, in parse
    self.line = self.readline()
  File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/plugins/parsers/ntriples.py", line 151, in readline
    m = r_line.match(self.buffer)
MemoryError

这些 RDF 文件中有多少个三元组？我已经测试过rdflib如果你幸运的话，它的扩展不会超过几十个 ktriples。它对于具有数百万个三元组的文件来说不可能真正表现良好。

最好的解析器是rapper from 雷德兰图书馆 http://librdf.org/。我的第一个建议是不要使用RDF/XML并去寻找ntriples。 Ntriples 是比 RDF/XML 更轻量的格式。您可以使用以下命令从 RDF/XML 转换为 n三元组rapper:

rapper -i rdfxml -o ntriples YOUR_FILE.rdf > YOUR_FILE.ntriples

如果你喜欢Python，你可以使用Redland python 绑定 http://librdf.org/bindings/:

import RDF
parser=RDF.Parser(name="ntriples")
model=RDF.Model()
stream=parser.parse_into_model(model,"file://file_path",
                                      "http://your_base_uri.org")
for triple in model:
    print triple.subject, triple.predicate, triple.object

我已经使用 redland 库解析了相当大的文件（几千兆字节），没有任何问题。

最终，如果您正在处理大数据集，您可能需要将数据断言到可扩展的三重存储中，我通常使用的是4store http://4store.org。 4store内部使用redland来解析RDF文件。从长远来看，我认为，寻求可扩展的三重存储是你必须要做的。有了它你就可以使用SPARQL http://www.w3.org/TR/rdf-sparql-query/查询您的数据并SPARQL/更新 http://www.w3.org/TR/sparql11-update/插入和删除三元组。