在 NLTK 中使用斯坦福 NER Tagger 提取人员和组织列表

我正在尝试使用 Python NLTK 中的斯坦福命名实体识别器 (NER) 提取人员和组织的列表。 当我跑步时：

from nltk.tag.stanford import NERTagger
st = NERTagger('/usr/share/stanford-ner/classifiers/all.3class.distsim.crf.ser.gz',
               '/usr/share/stanford-ner/stanford-ner.jar') 
r=st.tag('Rami Eid is studying at Stony Brook University in NY'.split())
print(r) 

输出是：

[('Rami', 'PERSON'), ('Eid', 'PERSON'), ('is', 'O'), ('studying', 'O'),
('at', 'O'), ('Stony', 'ORGANIZATION'), ('Brook', 'ORGANIZATION'),
('University', 'ORGANIZATION'), ('in', 'O'), ('NY', 'LOCATION')]

我想要的是从此列表中提取以下形式的所有个人和组织：

Rami Eid
Sony Brook University

我尝试遍历元组列表：

for x,y in i:
        if y == 'ORGANIZATION':
            print(x)

但此代码每行仅打印每个实体一个：

Sony 
Brook 
University

真实的数据在一句话中可能有多个组织、多个人，如何在不同实体之间进行限制？

感谢link https://stackoverflow.com/questions/13765349/multi-term-named-entities-in-stanford-named-entity-recognizer由 @Vaulstein 发现，很明显，训练有素的斯坦福标注器是分布式的（至少在 2012 年）不分块命名实体. From 接受的答案 https://stackoverflow.com/a/13781588/699305:

许多 NER 系统使用更复杂的标签，例如 IOB 标签，其中 B-PERS 等代码指示人员实体的起始位置。 CRFClassifier 类和特征工厂支持此类标签，但它们并未在我们当前分发的模型中使用（截至 2012 年）

您有以下选择：

1. 收集具有相同标记的单词；例如，所有相邻的单词都被标记PERSON应被视为一个命名实体。这很简单，但当然有时它会组合不同的命名实体。 （例如。New York, Boston [and] Baltimore是关于三个城市，而不是一个。）Edit:这就是阿尔瓦斯代码在接受的答案中所做的事情。请参阅下面的更简单的实现。

2. Use nltk.ne_chunk()。它不使用斯坦福识别器，但它使用块实体。 （它是 IOB 命名实体标记器的包装器）。

3. 找出一种方法，根据斯坦福标记器返回的结果进行自己的分块。

4. 针对您感兴趣的领域训练您自己的 IOB 命名实体分块器（使用斯坦福工具或 NLTK 框架）。如果您有时间和资源来正确执行此操作，它可能会给您带来最佳结果。

Edit:如果您想要的只是提取连续的命名实体（上面的选项 1），您应该使用itertools.groupby:

from itertools import groupby
for tag, chunk in groupby(netagged_words, lambda x:x[1]):
    if tag != "O":
        print("%-12s"%tag, " ".join(w for w, t in chunk))

If netagged_words是列表(word, type)你的问题中的元组，这会产生：

PERSON       Rami Eid
ORGANIZATION Stony Brook University
LOCATION     NY

再次注意，如果两个相同类型的命名实体紧邻出现，则此方法会将它们组合起来。例如。New York, Boston [and] Baltimore是关于三个城市，而不是一个。