从 SpaCy 中删除跨度中的单词?

2024-01-15

我正在用 Spacy 解析一个句子,如下所示:

import spacy
nlp = spacy.load("en")
span = nlp("This is some text.")

我想知道是否有一种方法可以删除跨度中的单词,同时仍然保留剩余单词的格式,如句子。例如

del span[3]

这可能会产生这样的句子

这是一些。

如果其他一些不使用 SpaCy 的方法也能达到相同的效果,那就太好了。


有一个解决方法。

这个想法是,您从文档创建一个 numpy 数组,删除不需要的条目,然后从新的 numpy 数组创建一个文档。

import spacy
from spacy.attrs import LOWER, POS, ENT_TYPE, IS_ALPHA
from spacy.tokens import Doc
import numpy

def remove_span(doc, index):
    np_array = doc.to_array([LOWER, POS, ENT_TYPE, IS_ALPHA])
    np_array_2 = numpy.delete(np_array, (index), axis = 0)
    doc2 = Doc(doc.vocab, words=[t.text for i, t in enumerate(doc) if i!=index])
    doc2.from_array([LOWER, POS, ENT_TYPE, IS_ALPHA], np_array_2)
    return doc2

# load english model
nlp = spacy.load('en')
doc = nlp("This is some text")
new_doc = remove_span(doc, 3)
print(new_doc)

希望能帮助到你!

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

从 SpaCy 中删除跨度中的单词? 的相关文章

随机推荐