Multi-view graph convolutional networks with attention mechanism

2023-05-16

摘要
传统的图卷积网络关注于如何高效的探索不同阶跳数(hops)的邻居节点的信息。但是目前的基于GCN的图网络模型都是构建在固定邻接矩阵上的即实际图的一个拓扑视角。当数据包含噪声或者图不完备时,这种方式会限制模型的表达能力。由于数据的测量或者收集会不可避免的会出现错误,因此基于固定结构的图模型表达能力是不充分的。本文提出了基于注意力机制的多视图图卷积网络,将拓扑结构的多个视图和基于注意力的特征聚合策略引入到图卷积中。MAGCN输入多个可靠的拓扑结构,这些结构一般是对应任务给定的结构或者使用经典图构造方法生成的。这样做更有可能为下游任务生成好的表示。

引言
图神经网络尤其是GCN在图数据上取得了很好的效果但是几乎所有的这些方法都是基于预先给定的一个固定的邻接矩阵的,即一个单一视角的图拓扑结构。由于邻接矩阵和理想的关系矩阵之间存在差异,基于单视图的图模型的表达能力受到限制。举个栗子,在Cora数据集中,节点表示表示文章或者文档,节点之间的边是文章之间的实际引用关系。然而很多情况下,两篇论文a和b可能涉及完全不同的主题,但因为论文a中开发的算法在b中用于特殊应用而产生了引用关系。但是论文a和论文b的关键词属性特征完全不同。如果仅根据这种引用关系(跨类连边)构造的拓扑结构进行邻域特征聚合,会导致两个类别不同的节点特征互相融合,从而导致误分类。这意味着除了给定的邻接矩阵外(基于引用关系),还可能有其他的视角可以更好的表示节点之间的关系,比如论文的关键词属性特征的相似性关系。

如何在给定的若干拓扑结构上执行消息传递便是本文要解决的问题。本文的最初想法是对于给定的任务,理想的图拓扑结构预先是不知道的,当前给定的邻接矩阵只是理想关系矩阵的估计,不可避免的会有一定程度的信息丢失。因此,多个邻接矩阵表示一个图的多个视角肯定更加可靠,因为他们提供了更加可靠的节点关系。

首先,给定多个邻接矩阵表示图结构的不同视角,multi-GCN对每个视图使用一个普通的GCN得到节点在不同视图下的表示。然后使用多图注意力模块自适应的融合多个结点级的表示。节点在不同视图中的注意力权重通过将各个视图的池化向量作为MLP的输入来学习得到。最终,在得到融合后的节点表示后,使用融合模块利用各个视图的拓扑结构为每个节点学习新的表示。

理论分析

  1. GCN表达能力的上界分析
    图片: https://uploader.shimo.im/f/zfJPyOnNzjs756Do.png!thumbnail?accessToken=eyJhbGciOiJIUzI1NiIsImtpZCI6ImRlZmF1bHQiLCJ0eXAiOiJKV1QifQ.eyJhdWQiOiJhY2Nlc3NfcmVzb3VyY2UiLCJleHAiOjE2NTY4NTM0NjcsImZpbGVHVUlEIjoiNXhrR01QR1paMXVkNlYzWCIsImlhdCI6MTY1Njg1MzE2NywidXNlcklkIjo2NjY4ODY1NX0.YY1Mw8Vl0kv_jpsFX_4MAC2PFeNty3RUE0YrVt3E0iw

  2. 引入多视图的必要性
    在这里插入图片描述
    通过引入多个增强的视图,可以使视图表达的综合关系更加逼近理想的关系矩阵。

  3. GCN与MAGCN的上界分析
    图片: https://uploader.shimo.im/f/Idtn4rAmBWUDjeR4.png!thumbnail?accessToken=eyJhbGciOiJIUzI1NiIsImtpZCI6ImRlZmF1bHQiLCJ0eXAiOiJKV1QifQ.eyJhdWQiOiJhY2Nlc3NfcmVzb3VyY2UiLCJleHAiOjE2NTY4NTM0NjcsImZpbGVHVUlEIjoiNXhrR01QR1paMXVkNlYzWCIsImlhdCI6MTY1Njg1MzE2NywidXNlcklkIjo2NjY4ODY1NX0.YY1Mw8Vl0kv_jpsFX_4MAC2PFeNty3RUE0YrVt3E0iw
    定理三表明在给定适当的注意力系数后,MAGCN可以以更高的概率逼近理想误差。

模型结构
图片: https://uploader.shimo.im/f/zXYBvrNW779AWcEK.png!thumbnail?accessToken=eyJhbGciOiJIUzI1NiIsImtpZCI6ImRlZmF1bHQiLCJ0eXAiOiJKV1QifQ.eyJhdWQiOiJhY2Nlc3NfcmVzb3VyY2UiLCJleHAiOjE2NTY4NTM0NjcsImZpbGVHVUlEIjoiNXhrR01QR1paMXVkNlYzWCIsImlhdCI6MTY1Njg1MzE2NywidXNlcklkIjo2NjY4ODY1NX0.YY1Mw8Vl0kv_jpsFX_4MAC2PFeNty3RUE0YrVt3E0iw

Pn表示从隐式的完备空间S’中生成的视图,根据信息论,视图Pn与空间S’包含的信息量S之间的条件互信息大于等于一个正的参数。如下公式表示了在给定其他视图后Pn和S之间共享的贡献信息。
图片: https://uploader.shimo.im/f/EJoRA0Ax3SRmBC9y.png!thumbnail?accessToken=eyJhbGciOiJIUzI1NiIsImtpZCI6ImRlZmF1bHQiLCJ0eXAiOiJKV1QifQ.eyJhdWQiOiJhY2Nlc3NfcmVzb3VyY2UiLCJleHAiOjE2NTY4NTM0NjcsImZpbGVHVUlEIjoiNXhrR01QR1paMXVkNlYzWCIsImlhdCI6MTY1Njg1MzE2NywidXNlcklkIjo2NjY4ODY1NX0.YY1Mw8Vl0kv_jpsFX_4MAC2PFeNty3RUE0YrVt3E0iw
可以看到,每个视图包含了完备空间中的一部分信息,很自然会想到利用多个拓扑结构学习图上的表示。

本文提出的模型主要分为三个模块分别为多视图表示学习模块,多视图融合模块和分类模块。
1)多视图表示学习模块
不同于传统的GCN只能处理单一的视图,Multi-GCN为每个视图设置一个GCN编码器学习不同视图上的表示信息。

在这里插入图片描述
在这里插入图片描述
其中Ai表示第i个视图的邻接矩阵,X表示节点的特征矩阵。

2)多图注意力融合模块
在分析不同视图对最终结果的影响时,需要设置权重系数调节各个视图中节点表示的权重。本文采用图池化的方式,对学习到的节点表示采用平均池化的方式为每个视图计算出一个全局的图表示xi。
图片: https://uploader.shimo.im/f/sJ1TlvwxystcLVuj.png!thumbnail?accessToken=eyJhbGciOiJIUzI1NiIsImtpZCI6ImRlZmF1bHQiLCJ0eXAiOiJKV1QifQ.eyJhdWQiOiJhY2Nlc3NfcmVzb3VyY2UiLCJleHAiOjE2NTY4NTM0NjcsImZpbGVHVUlEIjoiNXhrR01QR1paMXVkNlYzWCIsImlhdCI6MTY1Njg1MzE2NywidXNlcklkIjo2NjY4ODY1NX0.YY1Mw8Vl0kv_jpsFX_4MAC2PFeNty3RUE0YrVt3E0iw
然后将得到的图表示输入到MLP中计算视图级的权重系数C,最后将各个视图的节点表示按照权重进行求和。
在这里插入图片描述
在这里插入图片描述

3)分类模块
在得到融合后的节点表示后,需要将节点映射到与节点类别数目一致的维度。本文通过multi-gcn,利用不同的拓扑结构将节点映射到对应类别上。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述

实验
图片: https://uploader.shimo.im/f/UrOQ0vRoFOXZ2cgU.png!thumbnail?accessToken=eyJhbGciOiJIUzI1NiIsImtpZCI6ImRlZmF1bHQiLCJ0eXAiOiJKV1QifQ.eyJhdWQiOiJhY2Nlc3NfcmVzb3VyY2UiLCJleHAiOjE2NTY4NTM0NjcsImZpbGVHVUlEIjoiNXhrR01QR1paMXVkNlYzWCIsImlhdCI6MTY1Njg1MzE2NywidXNlcklkIjo2NjY4ODY1NX0.YY1Mw8Vl0kv_jpsFX_4MAC2PFeNty3RUE0YrVt3E0iw

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Multi-view graph convolutional networks with attention mechanism 的相关文章

  • qgraph可以在实际边缘之外渲染边缘标签吗?

    为了便于阅读 我正在尝试在 qgraph 中的实际边缘之外插入边缘标签 我特别不喜欢在标签下方添加白色背景的选项 它会弄乱边缘 根据手册 只能沿线调整边缘标签位置 而不能在侧面调整 以前有人为此苦苦挣扎吗 是否可以规避这个问题 干杯 似乎没
  • 目标必须是节点索引的密集双精度数组。怎么解决?

    我正在尝试构建一个网络图词邻接 http www personal umich edu mejn netdata 数据 但我收到错误 目标必须是节点索引的密集双数组 以下是我的代码 fileName adjnoun gml inputfil
  • 寻找有向或无向图中的最短循环

    我正在寻找一种算法来找到有向或无向图中的最短周期 例如 对于节点 3 算法可能返回 周期1 3 gt 10 gt 11 gt 7 gt 8 gt 3 周期2 3 gt 10 gt 9 gt 8 gt 3 对于这些循环 最短的是循环 2 位于
  • 如何将共现矩阵转换为 networkx 图

    我正在使用以下代码将列表列表转换为共现矩阵 lst a b b c d e a d b e u pd get dummies pd DataFrame lst prefix prefix sep groupby level 0 axis 1
  • 迭代 DFS 与递归 DFS 以及不同的元素顺序

    我编写了一个递归 DFS 算法来遍历图 void Graph
  • ggplot2:将面/条文本分割成两行

    考虑以下带有长面 条带文本的 ggplot2 图 断成两行 该文本超出了专门用于分面标题的区域 library ggplot2 x lt c 1 3 1 3 y lt c 3 1 1 3 grp lt c 0 0 0 1 1 1 p lt
  • Floyd Warshall 算法的时间复杂度

    Skiena 的算法书包含以下解释弗洛伊德 沃歇尔算法 http en wikipedia org wiki Floyd E2 80 93Warshall algorithm floyd adjacency matrix g int i j
  • Oracle 内联视图

    为什么使用内联视图 使用内联视图有许多不同的原因 有些事情没有内联视图就无法完成 例如 1 对解析函数的结果进行过滤 select ename from select ename rank over order by sal desc rn
  • 如何使用 RDFLib 解析大数据集?

    我正在尝试使用 RDFLib 3 0 解析几个大图 显然它处理第一个图并在第二个图上死掉 MemoryError 看起来 MySQL 不再支持作为存储 您能建议一种以某种方式解析这些图的方法吗 Traceback most recent c
  • 何时在模态视图控制器上设置父/呈现视图控制器?

    我正在展示一个模态视图控制器 在该模态视图控制器中viewDidLoad 我似乎找不到任何对父级 VC 的引用 parentViewController presentingViewController等等 如果尚未设置 我该如何获得对它的
  • 使用自定义视图填充 ListFragments?

    以前 我可以将布局扩展为 ListView 的自定义视图层次结构 但我不知道如何对 listFragment 执行相同的操作 假设我有一个 item list 布局 其中有一个 ImageView 和 2 个文本视图 我想将其膨胀以在我的
  • 为什么使用 Dijkstra 算法而不是最佳(最便宜)优先搜索?

    从我到目前为止所读到的来看 这最佳优先搜索 https en wikipedia org wiki Best first search在找到到达目标的最短路径方面似乎更快 因为 Dijkstra 算法在遍历图时必须放松所有节点 是什么让 D
  • 根据文档,Django 1.8spectdb 命令看不到 PostgreSQL 视图

    我有一个带有 PostgreSQL 数据库的 Django 1 8 应用程序 我从命令行运行 django inspectdb 来检查模型的视图 但视图不会显示在模型输出中 这是版本输出 17 36 python well manage p
  • 无法使clipChildren = false属性起作用[重复]

    这个问题在这里已经有答案了 我有一个黄色的RelativeLayout含有较高的红色LinearLayout 为了使整体LinearLayout可见 我设置android clipChildren false 但这并没有按预期工作
  • 在 MATLAB 中绘制圆

    我被要求找到在 MATLAB 中绘制圆的不同方法 看起来很无聊 不过我可以想出一些想法 有些可能效率低下 Method 1 ezpolar x 1 Method 2 t linspace 0 2 pi 100 plot sin t cos
  • 在 Python 中使用邻接表构建节点图

    我有一个Node类如下 class Node def init self val 0 neighbors None self val val self neighbors neighbors if neighbors is not None
  • 在 Zend Framework 应用程序中,/views/filters 有什么用途?

    我知道视图助手的作用 view helpers 但我不知道视图过滤器 view filters 是什么 或者它的用途是什么 有人可以解释一下这个问题吗 谢谢你 在渲染视图结束时 Zend View 将输出传递给您已注册的任何过滤器 方法是调
  • iPhone 相机访问权限?

    我想知道如何访问 iPhone 相机并实时使用它 例如 仅在相机视图上绘图 另一个相关问题 可以显示吗同时 4 个摄像机视图就像 Mac 上的 Photo Booth 一样 您可以使用 AVFoundation 来做到这一点 void in
  • Ember 不更新模型更改的视图

    该小提琴重新创建了入门套件 并带有可更改模型的额外按钮 http jsfiddle net UjacC 1 http jsfiddle net UjacC 1 但是 当单击 更改 时 数组会更改 但视图不会更新 为什么
  • Gremlin 按顶点属性分组并获取同一顶点中其他属性的总和

    我们有顶点来存储各种作业及其类型 并算作属性 我必须按状态和数量进行分组 我尝试了以下查询 该查询适用于一个属性 receiveCount g V hasLabel Jobs has Type within A B C group by T

随机推荐

  • 二进制部署Prometheus + Grafana监控集群,及各exporter安装

    一 Prometheus 监控集群概述 Prometheus三大组件 xff1a Server 主要负责数据采集和存储 xff0c 提供PromQL查询语言的支持 Alertmanager 警告管理器 xff0c 用来进行报警 Push G
  • MVC4 网站发布(整理 + 部分转载 + 部分问题收集和解决方案)

    网站发布步骤 这部分是转载文章 在此标明出处 xff0c 以前有文章是转的没标明的请谅解 xff0c 因为有些已经无法找到出处 xff0c 或者与其它原因 如有冒犯请联系本人 xff0c 或删除 xff0c 或标明出处 因为好的文章 xff
  • 2022-适用于 Windows 10 Version 1809 的 02 累积更新,适合基于 x64 的系统 (KB5010351) - 错误 0x800f0982

    2022 适用于 Windows 10 Version 1809 的 02 累积更新 xff0c 适合基于 x64 的系统 KB5010351 错误 0x800f0982 系统是win10 企业版 LTSC版本 可能安装的是精简版导致的 运
  • sqlsever中text字段类型是否会影响查询性能

    先上结论 会影响查询性能 我在库里找了一张表T Sys Log 然后做2个副本 备份表 SELECT INTO T Sys Log back FROM T Sys Log SELECT INTO T Sys Log back2 FROM T
  • 【无标题】

    起因 2010 年 xff0c 谷歌宣布退出地内市场的时候 xff0c 一直保留着 谷歌地图 和 谷歌翻译 这两个公共服务 有兴趣自行百度下谷歌和百度恩怨 在 2020 年 xff0c 谷歌停止了 谷歌地图 在内地的服务 现在 xff0c
  • vmware ESXI 裸金属架构 本地服务器 开启Intel VT-x(虚拟化技术)

    我想使用vmware ESXI 安装的WIN10虚拟机中装vmware软件再装win10 即虚拟机中套虚拟机 基于工作要求某个XXX项目需要开启VPN远程到客户内网进行维护 客户对网络审计比较严 安装VPN的那台机子识别码要上传服务器 基本
  • 对一个或多个实体的验证失败。有关详细信息,请参见“EntityValidationErrors”属性。

    因为是转载文章 在此标明出处 xff0c 以前有文章是转的没标明的请谅解 xff0c 因为有些已经无法找到出处 xff0c 或者与其它原因 如有冒犯请联系本人 xff0c 或删除 xff0c 或标明出处 因为好的文章 xff0c 以前只想收
  • 一元正态分布

    d import numpy as np import matplotlib pyplot as plt from scipy stats import norm 生成100个正态分布数据 xff0c 均值为1 xff0c 标准差为2 da
  • CaptureLayer的另外一个调用例子TaskSnapshot

    在前一篇讨论中 xff0c 我们查找了系统中调用captureLayers的地方 1323 public static GraphicBuffer captureLayers IBinder layerHandleToken Rect so
  • visualsvn server 无法访问url

    IIS 发布网站 本机能访问 其它人访问不了 看一下服务端 VisualSVN Server 的服务有没有启动 x A 34 H g6 L N s 管理 服务 VisualSVN Server 备注 做为开发机子 手动优化自己的电脑吧 否则
  • JS日期加减,日期运算

    因为是转载文章 在此标明出处 xff0c 以前有文章是转的没标明的请谅解 xff0c 因为有些已经无法找到出处 xff0c 或者与其它原因 如有冒犯请联系本人 xff0c 或删除 xff0c 或标明出处 因为好的文章 xff0c 以前只想收
  • jQuery easyui 选中特定的tab

    获取选中的 Tab 1 获取选中的 tab panel 和它的 tab 对象 2 var pp 61 39 tt 39 tabs 39 getSelected 39 3 var tab 61 pp panel 39 options 39 t
  • Server Error in '/' Application. 解决办法

    Server Error in 39 39 Application Access to the path 39 E NetWeb2 Content upFile BClientExcel 大客户部通讯录导入 xlsx 39 is denie
  • easyui-datagrid 数据出不来(样式引起的bug)

    今天任务是需要从另一个项目中将某几个功能页面移植到现有的项目中 这是比较繁琐的功能 理解要移植功能的逻辑 xff08 业务逻辑 xff0c 涉及到的表和存储过程 xff09 页面样式 这么是我遇到的一个问题之一 xff1b 我需要展现一个e
  • c#切割字符串几种方法

    1 xff0c 按单一字符切割 string s 61 34 abcdeabcdeabcde 34 string sArray 61 s Split 34 c 34 oreach string i in sArray Console Wri
  • 动态链接库与静态链接库的区别

    静态链接库与动态链接库都是共享代码的方式 xff0c 如果采用静态链接库 xff0c 则无论你愿不愿意 xff0c lib 中的指令都全部被直接包含在最终生成的 EXE 文件中了 但是若使用 DLL xff0c 该 DLL 不必被包含在最终
  • ssm——小学期实训总结

    实训总结 经过这两个星期短暂的学习 xff0c 我学习了ssm的框架搭建与web前端设计基础 在第一个星期 xff0c 老师着重为我们讲了框架的原理 搭建与运用 xff1b 而在第二个星期 xff0c 重点则转移到了小组对项目的开发与研究上
  • 节点中心性

    文章目录 度中心性 Degree Centrality 特征向量中心性 Eigenvector Centrality Katz中心性 Katz Centrality Katz index PageRank中心性PageRank算法 接近中心
  • 机器学习面试知识点总结

    文章目录 计算学习理论过拟合与欠拟合过拟合欠拟合 偏差与方差最大似然估计与贝叶斯估计极大似然估计贝叶斯决策论贝叶斯估计 特征工程与特征选择特征工程逐层归一化特征选择 模型融合融合策略 评估方法与评价指标评估方法评价指标 优化算法正则化深度模
  • Multi-view graph convolutional networks with attention mechanism

    摘要 传统的图卷积网络关注于如何高效的探索不同阶跳数 hops 的邻居节点的信息 但是目前的基于GCN的图网络模型都是构建在固定邻接矩阵上的即实际图的一个拓扑视角 当数据包含噪声或者图不完备时 xff0c 这种方式会限制模型的表达能力 由于