Agriculture_KnowledgeGraph
demo:http://ecnukg.vicp.io
github:https://github.com/qq547276542/Agriculture_KnowledgeGraph
欢迎star&fork~
命名实体识别
进入主页面,输入文本,即可看到以下命名实体和分词的结果(确保django和neo4j都处于开启状态):
点击实体的超链接,可以跳转到词条页面:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1arFxxGY-1575030509534)(https://raw.githubusercontent.com/qq547276542/blog_image/master/agri/3.png)]
关系查询
关系查询部分,我们能够搜索出与某一实体相关的实体,以及它们之间的关系:
知识的树形结构
农业知识概览部分,我们能够列出某一农业分类下的词条列表,这些概念以树形结构组织在一起:
农业分类的树形图:
训练集标注
我们还制作了训练集的手动标注页面,每次会随机的跳出一个未标注过的词条。链接:http://localhost:8000/tagging-get , 手动标注的结果会追加到/label_data/labels.txt文件末尾:
思路
图谱实体获取:
1.根据19000条农业网词条,按照筛法提取名词(分批进行,每2000条1批,每批维护一个不可重集合)
2.将9批词做交集,生成农业词典
3.将词典中的词在互动百科中进行爬取,抛弃不存在的页面,提取页面内容,存到数据库中
4.根据页面内容,提取每一个词条页面的特征,构造相似度的比较方法,使用KNN进行分类
5.最后获取每个词条的所属类别,同时能够剔除不属于农业的无关词条
命名实体识别:
使用thulac工具进行分词,词性标注,命名实体识别(仅人名,地名,机构名)
为了识别农业领域特定实体,我们需要:
- 分词,词性标注,命名实体识别
- 以识别为命名实体(person,location,organzation)的,若实体库没有,可以标注出来
- 对于非命名实体部分,采用一定的词组合和词性规则,在O(n)时间扫描所有分词,过滤掉不可能为农业实体的部分(例如动词肯定不是农业实体)
- 对于剩余词及词组合,匹配知识库中以分好类的实体。如果没有匹配到实体,或者匹配到的实体属于0类(即非实体),则将其过滤掉。
- 实体的分类算法见下文。
HudongItem
页面分类
分类器:KNN算法
- 无需表示成向量,比较相似度即可
- K值通过网格搜索得到
定义两个页面的相似度sim(p1,p2):
- title之间的词向量的余弦相似度(利用fasttext计算的词向量能够避免out of vocabulary)
- 2组openType之间的词向量的余弦相似度的平均值
- 相同的baseInfoKey的IDF值之和(因为‘中文名’这种属性贡献应该比较小)
- 相同baseInfoKey下baseInfoValue相同的个数
- 预测一个页面时,由于KNN要将该页面和训练集中所有页面进行比较,因此每次预测的复杂度是O(n),n为训练集规模。在这个过程中,我们可以统计各个分相似度的IDF值,均值,方差,标准差,然后对4个相似度进行标准化:(x-均值)/方差
- 上面四个部分的相似度的加权和为最终的两个页面的相似度,权值由向量weight控制,通过10折叠交叉验证+网格搜索得到
Labels:(命名实体的分类)
Label | NE Tags | Example |
---|
0 | Invalid(不合法) | “色调”,“文化”,“景观”,“条件”,“A”,“234年”(不是具体的实体,或一些脏数据) |
1 | Person(人物,职位) | “袁隆平”,“程序员” |
2 | Location(地点,区域) | “福建省”,“三明市”,“大明湖” |
3 | Organization(机构,会议) | “华东师范大学”,“上海市农业委员会” |
4 | Political economy(政治经济名词) | “惠农补贴”,“基本建设投资” |
5 | Animal(动物学名词,包括畜牧类,爬行类,鸟类,鱼类,等) | “绵羊”,“淡水鱼”,“麻雀” |
6 | Plant(植物学名词,包括水果,蔬菜,谷物,草药,菌类,植物器官,其他植物) | “苹果”,“小麦”,“生菜” |
7 | Chemicals(化学名词,包括肥料,农药,杀菌剂,其它化学品,术语等) | “氮”,“氮肥”,“硝酸盐”,“吸湿剂” |
8 | Climate(气候,季节) | “夏天”,“干旱” |
9 | Food items(动植物产品) | “奶酪”,“牛奶”,“羊毛”,“面粉” |
10 | Diseases(动植物疾病) | “褐腐病”,“晚疫病” |
11 | Natural Disaster(自然灾害) | “地震”,“洪水”,“饥荒” |
12 | Nutrients(营养素,包括脂肪,矿物质,维生素,碳水化合物等) | “维生素A”,“钙” |
13 | Biochemistry(生物学名词,包括基因相关,人体部位,组织器官,细胞,细菌,术语) | “染色体”,“血红蛋白”,“肾脏”,“大肠杆菌” |
14 | Agricultural implements(农机具,一般指机械或物理设施) | “收割机”,“渔网” |
15 | Technology(农业相关术语,技术和措施) | “延后栽培",“卫生防疫”,“扦插” |
16 | other(除上面类别之外的其它名词实体,可以与农业无关但必须是实体) | “加速度",“cpu”,“计算机”,“爱鸟周”,“人民币”,“《本草纲目》”,“花岗岩” |
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)