1.基本概念
知识图谱主要作用:查找和匹配
难点:怎么构建
知识图谱不只是个图模型,拿到点后能不能进行预测,分析,能不能让这个ai基于这个图模型做出诊断与分析工作,graph embedding是最核心的事情了,将点参数化
1.1知识图谱组成
<例> 例如上图的人,人有关键点,组成局部信息,有人和骨架图之后,怎么综合利用图模型进行分析。淘宝出现的数据,在抖音会出现;去上海看房子,青岛的,成都的也开始打电话了。
<例>挑出实体,寻找实体的联系和属性。
<引申> 不光视觉,听觉还有文本,尽可能的把知识融合在一起,形成一个图模型,有复杂的关系网络。把所有的人情世故,关系融合在一起,则是知识图谱。图模型把所有信息连接起来了。
1.2 应用
1.2.1 应用一 医疗领域方向检索
方式:利用历史数据,使看病更简单
目的:便于检索
1.2.2 应用二 金融领域反欺诈-金融知识图谱
可以从下载大量贷款app等相关信息入手
1.2.3 推荐系统
从实体角度出发etc.
2.数据
2.1 文本数据
文本数据是最好获得的,故知识图谱是nlp的重要应用,做知识图谱需要用到大量nlp技术。
2.2 难点
可能是图片可能是音频视频等非结构化数据
2.3 方法
有许多开源的nlp工具包,语义识别,角色标注,时间,地点,人名等(哈工大做nlp较多)。首先先打标签。
2.3.1 分句、分词、主谓关系
关于标注,有很多是可以用工具包去做
2.3.2 打标签
2.3.3 找关系
2.3.3.1 实体关系
3.知识图谱综合应用——跳出nlp
比如侦察凶杀案,进行推理工作。
3.1 神经网络引入
传统上输入向量输出结果,每个嫌疑人作为一个向量输入节点。那么如何将一个节点输入一个向量啊。
除了传统的搜索,现在知识图谱尝试做推理预测工作。比如图识别,embedding把每一个节点编码成一个向量,比如一个图识别,首先将识别道的点进行编码,除了本身固有的属性(实物本身的身高,体重)。
3.1.1 传统图像猫狗识别
识别出了点后进行二分类,识别是猫是狗
用到图模型就得用特征
3.2 视觉领域:与图卷积结合
对人的局部特征关节点特征提出来,需要提出局部特征(如头、肩膀)与联系,行动过程中,会有联系。比如人在运动的时候,头和肩膀的关系比较大,就不是简单的局部特征的卷积。再进行一些融合,在图模型中进行卷积,即也有graph embedding。
图匹配,两张图不同角度的关节点信息进行一对一的匹配,但有的会有遮挡,则不完全一对一
怎么样做特征,不仅仅是构建图,更重要的是我可以用这个图做个什么事。如果能把其中每个实体用向量表示出来就无敌了。
检测,分析,识别算法用上去,想玩什么玩什么。
对于知识图谱不仅仅是用nlp技术构建一个图谱更重要的是利用这个做事。
4 知识图谱的使用
4.1 算法固定,难点是根据场景构建特定图谱
4.2 报错好解决,选Neo4j