Graph Contrastive Learning with Adaptive Augmentation

2023-05-16

摘要

对比学习在无监督图表示学习中取得了很好的效果,大部分图对比学习首先对输入图做随机增强生成两个视图然后最大化两个视图表示的一致性。其中,图上的增强方式是非常重要的部分鲜有人探索。我们认为数据增强模式应该保留图固有的属性和结构,可以使模型学到对于不重要的结点和边扰动不敏感的表示信息。但目前的方法大多采用均质的增强方法如均匀的去边,或扰动特征,只能达到次优效果。本文借助先验信息从拓扑和语义角度引入自适应的增强策略。具体来说,在拓扑角度,采用基于结点的中心性来衡量连接结构的重要性的方式设计增强模式;在特征维度,给不重要的结点特征加入更多噪声来扰动结点特征,强化模型识别潜在语义信息。

引言

之前的增强方式主要有两个缺点。首先,在结构或者特征角度的简单增强不足以生成多样的邻居,很难在对比目标函数中优化;其二是之前的工作了结点和边影响的差异性。比如均匀的丢弃边的化,一些重要的边丢弃会恶化结果。如果在边移除的增强方式中,给重要的边小的概率,不重要的边大的概率,在学习时可以使模型自适应的忽略噪声和不重要的边,学到重要的模式。

本文设计了一个自适应增强的图对比学习方法,首先通过随机扰动生成两个相关的视图,然后最大化这两个视图上结点表示的互信息。我们设计了一个联合的,自适应的数据增强模式,通过分别在拓扑级移除边和在结点属性角度做特征遮掩来为结点在不同视图提供多样的上下文信息,优化对比目标。
在这里插入图片描述

模型

在这里插入图片描述

GCA按照常规图对比学习的模式,最大化不同视图表示的一致性。对于每一个结点i,所有视图中该结点的表示作为正样本,其他结点的表示视作负样本。借鉴InfoNCE,在多视图图对比学习中,对于每对正样本(ui, vi)我们定义对级目标函数为
在这里插入图片描述
θ(u,v)=s(g(u), g(v)),其中s(., .)为余弦相似度,g(.)是一个非线性映射映射提升判别函数表达能力,我们采用两层感知机实现。在所有视图中,其他结点都可以视作负样本。因此,来自两个视图即inter-view和intra-view。由于两个视图是对称的,因此最终的目标函数定义为所有正样本对的平均值即
在这里插入图片描述

这个训练算法总结如下
在这里插入图片描述

Adaptive Graph Augmentation

对比学习希望学到扰动无关的信息,而在GCA中,期望学到重要的结构和 不变的特征。在扰动中,给不重要的结点或特征赋值较高的丢弃率或者遮盖率,我们在随机扰动的视图上强调重要的结构和属性,使模型保留基础的拓扑和语义模式。

1)Topology-level augmentation
在拓扑上的增强中,通过直接对输入的图随机丢弃一些边来增强。具体来说就是按照一定的概率从边集E中采样一个子集E’
在这里插入图片描述

Puv表示移除的概率,E’为生成视图的边集。其中,Puv反映边(u,v)的重要程度,增强函数会丢弃不重要的边同时在增强视图中保留重要的连接结构。

结点中心性是常用的度量结点重要性的方法,我们使用边两端的结点的中心性来衡量边的中心性。在给定结点的中心性的衡量方法f(.)后,边的中心性定义为两个邻接结点中心性值的平均即Wuv=(f(u) + f(v))/2。在有向图中,直接用尾结点的中心性表示边的中心性。

在得到边的中心性后,通过转化可以得到边对应的概率。由于结点有不同阶数的连接强度,因此需要归一化操作。其中Pe,Pt都是超参,分别控制边的移除概率和整体的丢弃比例,丢弃太多会过度扰动图结构。
在这里插入图片描述
在这里插入图片描述

2)Node-atttibute-level augmentation
类似于图像处理中的椒盐噪声,我们通过用0随机遮掩一部分结点特征来给结点添加噪声。具体来说,首先采样一个随机向量m,他的每个维度独立且服从伯努利分布。然后生成的结点特征为
在这里插入图片描述
在这里插入图片描述
类似于拓扑级的增强,pfi应该反映结点特征第i个维度的重要性。我们假设,在重要的结点中频繁出现的特征维度应该是重要的,并按照如下方式定义特征维度i的权重。
对于任意结点u,结点特征为稀疏one-hot编码,第i维特征的权重计算如下
在这里插入图片描述

其中第一项Xui是二值的,表示第i为特征是否在结点u中出现;第二项表示结点的中心性,衡量每个出现的特征的重要程度。直观的解释,在引用网络中,结点的每个维度的特征表示 一个关键字。在重要的文章中出现频繁的关键字应该是重要的。

对于结点特征为稠密,连续的情况时,Xui表示第i个维度的特征值。由于我们无法记录每个one-hot编码值的出现次数,因此我们转向度量第i个维度特征值的大小。通过特征值的绝对值计算权重
在这里插入图片描述

最后,类似于拓扑结构的增强,我们使用标准化操作计算特征重要性的概率
在这里插入图片描述
在这里插入图片描述

GCA中的每个视图都是在拓扑结构和结点特征两个空间联合做增强得到的。GCA会生成两个视图为对比学习提供多样的上下文环境。
在这里插入图片描述
在这里插入图片描述
其中,两个视图的概率分别表示为
在这里插入图片描述

注意,所有的中心性和权重都是在原始输入图中计算的。

实验

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Graph Contrastive Learning with Adaptive Augmentation 的相关文章

  • 寻找多条短路径的算法

    寻求一种能够产生 N 条短路径的算法 有没有人有算法的经验来寻找多条短路径在有向图中 我的应用程序用于语言 查找同义词链 但从逻辑上讲 这可能用于地理或社交网络 我想要明显不同的路径 而不仅仅是沿途交换几个节点 我真的很想知道是否有办法避免
  • 如何将 2 个图(ggplot)合并为一个图?

    通过使用 R 是否可以将 2 个 ggplot 放在一起 即在同一个图上 我希望显示两个不同数据框的趋势 而不是将它们放在一起 我想将它们集成在一个图中 并且仅更改其中一个数据框 黑点 的颜色 更具体地说 我有以下两种视觉效果 ggplot
  • 图表中的最小损坏成本

    给定一个图 G V E 其中有 N 个节点 编号从 0 到 N 1 并且恰好为 N 1 双向边缘 图中的每条边都有一个正成本 C u v 边缘权重 整个图是这样的任何一对节点之间都有唯一的路径 我认为改进的 Kruskal 是正确的选择 取
  • matplotlib 仅显示一组 10 个图形中的一个,就像幻灯片一样

    I have a set of 10 graphs based on X Y pairs In this example only 3 Displaying one graph is easy same to all graphs in t
  • 在图形工具、Python 界面中从邻接矩阵创建加权图

    我应该如何使用 python 中的图形工具从邻接矩阵中创建图形 假设我们有adj矩阵作为邻接矩阵 我现在做的是这样的 g graph tool Graph directed False g add vertex len adj edge w
  • 如何使用 haskell graphViz 绘制图表

    我计划使用 Haskell graphViz 绘制图表 我是 Haskell 的新手 所以这对我来说相当困难 有人可以给我看一个简单的例子吗 实际上我需要一个非常简单的示例 以便我可以理解它并在我正在处理的场景中使用它 我在尝试安装 Cha
  • 如何在某些数据结构中表示奇怪的图

    表示图的一种简单方法是使用以下形式的数据结构 1 2 3 2 1 3 3 1 2 该字典中的键是节点 边由它们连接到的其他节点的列表表示 如果链接不对称 此数据结构也可以轻松表示有向图 1 2 2 3 3 1 我对图论了解不多 所以我要提出
  • 收缩networkx中的节点列表

    我有一本带有节点的字典 supernodes list nx connected components G1 的结果print supernodes is 1 2 3 5 8 6 7 9 10 12 13 4 11 14 15 如何将每个列
  • 如何统计有向图中所有可达节点?

    有一个有向图 可能包含环 每个节点上都有一个值 如何得到每个节点的可达值之和 例如 在下图中 节点 1 的可达和为 2 3 4 5 6 7 27 节点 2 的可达总和为 4 5 6 7 22 我的解决方案 要得到所有节点的总和 我认为时间复
  • Neo4j/Gremlin/Cypher:如何获取所有节点,直到我在类似地图的设置中达到一定距离(深度)?

    我有一个带有字段的简单图表 每个字段有 4 个邻居 东北 南 西 NodeEntity public class Field GraphId Long id Field north Field east Field south Field
  • 使用最短路径计算连接概率

    我想知道 igraph 中是否有一个函数可以计算加权图中顶点之间的连接概率 其中边的权重是相邻顶点的连接概率 我基于这样的邻接矩阵构建了一个图 其中相邻连接概率形成权重 这是针对河流网络 因此图的每个节点仅连接到单个下游节点 我本来希望使用
  • QSTK 的事件分析器函数无法正确绘制

    在佐治亚理工学院的 Coursera 计算投资课程中使用 QSTK 时 Examples EventProfiler tutorial py 末尾的 eventprofiler 函数不会输出视频中显示的图表 见下图 为第 4 周的练习生成的
  • 如何将自定义图形适合boost图形库模板?

    我对 C 模板很生疏 而且我正在使用 boost 图形库 一个致命的组合 我在网上搜索过 但找不到任何关于如何采用自定义图形结构并将其足够适合 BGL 增强图形库 的直接说明 以便我可以使用增强图形遍历算法 有熟悉图书馆的人可以帮助我吗 编
  • 寻找有向或无向图中的最短循环

    我正在寻找一种算法来找到有向或无向图中的最短周期 例如 对于节点 3 算法可能返回 周期1 3 gt 10 gt 11 gt 7 gt 8 gt 3 周期2 3 gt 10 gt 9 gt 8 gt 3 对于这些循环 最短的是循环 2 位于
  • 为什么A*的复杂度在内存中是指数级的?

    维基百科关于 A 复杂度的说法如下 链接在这里 http en wikipedia org wiki A search algorithm 比当时更成问题 复杂度是A 的内存使用量 在 最坏的情况 也必须记住 指数数量的节点 我不认为这是正
  • 在尝试找到最长路径的同时消除有向无环图中的无关边

    我问了一个question https stackoverflow com q 8685598 35690关于在可变数量的集合中查找没有重复字符的子序列 解决方案是创建每对字母的矩阵 丢弃每组中未出现的字母 然后找到最长路径 http en
  • R/Javascript:崩溃和扩展的网络

    我正在使用 R 编程语言 我有以下图形网络数据 library igraph library visNetwork from lt c Boss TeamA TeamA TeamA SubteamA1 SubteamA1 SubteamA1
  • NetworkX:翻转图

    有没有办法以相反的顺序生成图形 即我想生成垂直翻转的图形 或者如果我可以在绘制之前用一些 matplotlib 子例程翻转它 F e 我希望 357 和 358 位于顶部 1 6 位于底部 只需交换您的位置坐标即可 import netwo
  • 使用 d3 在两个节点之间绘制多条边

    我一直在关注 Mike Bostock 的代码这个例子 http bl ocks org 1153292学习如何在 d3 中绘制有向图 并且想知道如何构建代码 以便可以在图中的两个节点之间添加多个边 例如 如果上例中的数据集定义为 var
  • 带回溯的 Dijkstra 算法?

    In a 相关主题 https stackoverflow com questions 28333756 finding most efficient path between two nodes in an interval graph

随机推荐

  • vmware ESXI 裸金属架构 本地服务器 开启Intel VT-x(虚拟化技术)

    我想使用vmware ESXI 安装的WIN10虚拟机中装vmware软件再装win10 即虚拟机中套虚拟机 基于工作要求某个XXX项目需要开启VPN远程到客户内网进行维护 客户对网络审计比较严 安装VPN的那台机子识别码要上传服务器 基本
  • 对一个或多个实体的验证失败。有关详细信息,请参见“EntityValidationErrors”属性。

    因为是转载文章 在此标明出处 xff0c 以前有文章是转的没标明的请谅解 xff0c 因为有些已经无法找到出处 xff0c 或者与其它原因 如有冒犯请联系本人 xff0c 或删除 xff0c 或标明出处 因为好的文章 xff0c 以前只想收
  • 一元正态分布

    d import numpy as np import matplotlib pyplot as plt from scipy stats import norm 生成100个正态分布数据 xff0c 均值为1 xff0c 标准差为2 da
  • CaptureLayer的另外一个调用例子TaskSnapshot

    在前一篇讨论中 xff0c 我们查找了系统中调用captureLayers的地方 1323 public static GraphicBuffer captureLayers IBinder layerHandleToken Rect so
  • visualsvn server 无法访问url

    IIS 发布网站 本机能访问 其它人访问不了 看一下服务端 VisualSVN Server 的服务有没有启动 x A 34 H g6 L N s 管理 服务 VisualSVN Server 备注 做为开发机子 手动优化自己的电脑吧 否则
  • JS日期加减,日期运算

    因为是转载文章 在此标明出处 xff0c 以前有文章是转的没标明的请谅解 xff0c 因为有些已经无法找到出处 xff0c 或者与其它原因 如有冒犯请联系本人 xff0c 或删除 xff0c 或标明出处 因为好的文章 xff0c 以前只想收
  • jQuery easyui 选中特定的tab

    获取选中的 Tab 1 获取选中的 tab panel 和它的 tab 对象 2 var pp 61 39 tt 39 tabs 39 getSelected 39 3 var tab 61 pp panel 39 options 39 t
  • Server Error in '/' Application. 解决办法

    Server Error in 39 39 Application Access to the path 39 E NetWeb2 Content upFile BClientExcel 大客户部通讯录导入 xlsx 39 is denie
  • easyui-datagrid 数据出不来(样式引起的bug)

    今天任务是需要从另一个项目中将某几个功能页面移植到现有的项目中 这是比较繁琐的功能 理解要移植功能的逻辑 xff08 业务逻辑 xff0c 涉及到的表和存储过程 xff09 页面样式 这么是我遇到的一个问题之一 xff1b 我需要展现一个e
  • c#切割字符串几种方法

    1 xff0c 按单一字符切割 string s 61 34 abcdeabcdeabcde 34 string sArray 61 s Split 34 c 34 oreach string i in sArray Console Wri
  • 动态链接库与静态链接库的区别

    静态链接库与动态链接库都是共享代码的方式 xff0c 如果采用静态链接库 xff0c 则无论你愿不愿意 xff0c lib 中的指令都全部被直接包含在最终生成的 EXE 文件中了 但是若使用 DLL xff0c 该 DLL 不必被包含在最终
  • ssm——小学期实训总结

    实训总结 经过这两个星期短暂的学习 xff0c 我学习了ssm的框架搭建与web前端设计基础 在第一个星期 xff0c 老师着重为我们讲了框架的原理 搭建与运用 xff1b 而在第二个星期 xff0c 重点则转移到了小组对项目的开发与研究上
  • 节点中心性

    文章目录 度中心性 Degree Centrality 特征向量中心性 Eigenvector Centrality Katz中心性 Katz Centrality Katz index PageRank中心性PageRank算法 接近中心
  • 机器学习面试知识点总结

    文章目录 计算学习理论过拟合与欠拟合过拟合欠拟合 偏差与方差最大似然估计与贝叶斯估计极大似然估计贝叶斯决策论贝叶斯估计 特征工程与特征选择特征工程逐层归一化特征选择 模型融合融合策略 评估方法与评价指标评估方法评价指标 优化算法正则化深度模
  • Multi-view graph convolutional networks with attention mechanism

    摘要 传统的图卷积网络关注于如何高效的探索不同阶跳数 hops 的邻居节点的信息 但是目前的基于GCN的图网络模型都是构建在固定邻接矩阵上的即实际图的一个拓扑视角 当数据包含噪声或者图不完备时 xff0c 这种方式会限制模型的表达能力 由于
  • An Empirical Study of Graph Contrastive Learning

    摘要 图对比学习在图表示学习领域树立了新的范式 xff0c 不需要人工标注信息 但对GCL的分析却寥寥无几 本文通过分析一般化的GCL范式的各个部分包括增强函数 xff0c 对比模式 xff0c 对比目标和负采样技术 xff0c 然后分析各
  • Data Augmentation

    自监督深度学习模型的精确性严重依赖于训练时数据的多样性和数据量 模型要想在更复杂任务上有较好的效果一般会有大量的隐藏单元 一般在训练过程中训练隐藏单元越多需要的数据越多 xff0c 即任务复杂度与参数量与需要的数据量成正比 由于训练复杂任务
  • Semi-Supervised and Self-Supervised Classification with Multi-View Graph Neural Networks

    摘要 图神经网络在图结构数据中取得了很好的效果但是大多数的模型使用的还是叫浅层的结构 xff0c 当模型层数加深时很容易过平滑 本文基于多视图来聚合更多的信息 我们首先设计两个互补的视图来描述全局结构和节点特征相似性 xff0c 然后使用注
  • GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

    摘要 目前图表示学习在许多任务上取得了很好的效果但是都是关注于具体领域的并不具有迁移性 本文借鉴预训练思想 xff0c 设计了一个自监督图神经网络框架来在多个网络中捕获一般化的网络拓扑结构属性 我们设计的预训练任务是在多个网络之间判别子图实
  • Graph Contrastive Learning with Adaptive Augmentation

    摘要 对比学习在无监督图表示学习中取得了很好的效果 xff0c 大部分图对比学习首先对输入图做随机增强生成两个视图然后最大化两个视图表示的一致性 其中 xff0c 图上的增强方式是非常重要的部分鲜有人探索 我们认为数据增强模式应该保留图固有