我正在使用 spaCy'3.0.0rc2'与定制模型。不幸的是，我的训练数据的连字符 (-) 较少，因此连字符经常被标记为NOUN.
有什么方法可以强制某些tag or pos，以确保all the -令牌被标记为PUNCT?
基本上我正在寻找一个像在这个问题的答案中提出的解决方案：如何在标记器之前/之后强制在 spacy 中使用 pos 标记？ https://stackoverflow.com/questions/51766157/how-to-force-a-pos-tag-in-spacy-before-after-tagger/51776803
不幸的是这似乎不起作用anymore（至少对于 spaCy 3）并引发错误：
ValueError: [E1005] Unable to set attribute 'POS' in tokenizer exception for '{G}'. Tokenizer exceptions are only allowed to specify ORTH and NORM.
（尝试分配时相同TAG属性）
我知道可以创建一个自定义组件Matcher它只查找连字符并分配正确的标签。然而，考虑到我目前只想处理一个令牌，这似乎有点矫枉过正。
有没有办法在 spaCy 3 中强制使用标签，使用自定义组件在处理过程中无需重新标记?
理想情况下我想修改TAG属性并让POSspaCy 基于此自动分配属性TAG属性。
正如在空间注释 https://spacy.io/api/annotation#pos-en TAG=HYPH应该映射到POS=PUNCT.
在spaCy v3中，这样的异常可以在attribute_ruler成分：
ruler = nlp.add_pipe("attribute_ruler")
patterns = [[{"ORTH": "-"}]]
attrs = {"TAG": "HYPH", "POS": "PUNCT"}
ruler.add(patterns=patterns, attrs=attrs)
请注意，属性标尺根据初始值运行一次模式匹配。Doc状态，因此您不能使用一个规则的输出属性作为另一规则的输入模式。这出现在像这样的管道中en_core_web_sm，其中包含的属性标尺执行 tag->pos 映射。因此，如果您有另一个应该与 pos 模式匹配的规则，则必须添加第二个属性标尺组件来处理这些情况。
See: https://nightly.spacy.io/api/attributeruler https://nightly.spacy.io/api/attributeruler
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
