程序员经验分享-hwhale

TOP 100值得读的图神经网络----自监督学习与预训练

2023-11-12

清华大学的Top 100 GNN papers，其中分了十个方向，每个方向10篇。此篇为自监督学习与预训练方向的阅读笔记。
Top100值得一读的图神经网络| 大家好，我是蘑菇先生，今天带来Top100 GNN Papers盘点文。此外，公众号技术交流群开张啦！可https://mp.weixin.qq.com/s?__biz=MzIyNDY5NjEzNQ==&mid=2247491631&idx=1&sn=dfa36e829a84494c99bb2d4f755717d6&chksm=e809a207df7e2b1117578afc86569fa29ee62eb883fd35428888c0cc0be750faa5ef091f9092&mpshare=1&scene=23&srcid=1026NUThrKm2Vioj874F3gqS&sharer_sharetime=1635227630762&sharer_shareid=80f244b289da8c80b67c915b10efd0a8#rd

架构篇连接：TOP 100值得读的图神经网络----架构_tagagi的博客-CSDN博客https://blog.csdn.net/tagagi/article/details/121318308

同时推荐一个很好的博客： 图对比学习的最新进展_模型GCC以及我们提出的GRACE和同期GraphCL的工作采用了local-local的思路，即直接利用两个经过增强的view中节点的embedding特征，巧妙地绕开了设计一个单射读出函数的需求。 …https://www.sohu.com/a/496046127_121124371论文列表

  1. Strategies for pre-training graph neural networks. Weihua Hu, Bowen Liu, Joseph Gomes, Marinka Zitnik, Percy Liang, Vijay Pande, Leskovec Jure. ICLR 2020.
  2. Deep graph infomax. Velikovi Petar, Fedus William, Hamilton William L, Li Pietro, Bengio Yoshua, Hjelm R Devon. ICLR 2019.
  3. Inductive representation learning on large graphs. Hamilton Will, Zhitao Ying, Leskovec Jure. NeurIPS 2017.
  4. Infograph: Unsupervised and semi-supervised graph-level representation learning via mutual information maximization. Sun Fan-Yun, Hoffmann Jordan, Verma Vikas, Tang Jian. ICLR 2020.
  5. GCC: Graph contrastive coding for graph neural network pre-training. Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, Jie Tang. KDD 2020.
  6. Contrastive multi-view representation learning on graphs. Hassani Kaveh, Khasahmadi Amir Hosein. ICML 2020.
  7. Graph contrastive learning with augmentations. Yuning You, Tianlong Chen, Yongduo Sui, Ting Chen, Zhangyang Wang, Yang Shen. NeurIPS 2020.
  8. GPT-GNN: Generative pre-training of graph neural networks. Ziniu Hu, Yuxiao Dong, Kuansan Wang, Kai-Wei Chang, Yizhou Sun. KDD 2020.
  9. When does self-supervision help graph convolutional networks?. Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen. ICML 2020.
  10. Deep graph contrastive representation learning. Yanqiao Zhu, Yichen Xu, Feng Yu, Qiang Liu, Shu Wu, Liang Wang. GRL+@ICML 2020.

目录

一、图神经网络预训练的策略  STRATEGIES FORPRE-TRAININGGRAPHNEURAL NETWORKS

二、DGI DEEP GRAPH INFOMAX

三、GraphSAGE大型图的归纳表示学习 Inductive Representation Learning on Large Graphs

四、INFOGRAPH: UNSUPERVISED ANDSEMI-SUPERVISED GRAPH-LEVEL REPRESENTATION LEARNING  VIA MUTUAL INFORMATION MAXIMIZATION

五、GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

六、多视图对比学习 Contrastive multi-view representation learning on graphs

七、GraphCL Graph Contrastive Learning with Augmentations

八、GPT-GNN: Generative Pre-Training of Graph Neural Networks

九、When Does Self-Supervision Help Graph Convolutional Networks?

十、GRACE Deep Graph Contrastive Representation Learning

一、图神经网络预训练的策略  STRATEGIES FORPRE-TRAININGGRAPHNEURAL NETWORKS

主要内容：提出了一种图神经网络的预训练方法，在ROC-AUC曲线上得到了11.7%的绝对值提升

1 INTRODUCTION

  • 预训练是迁移学习的一种十分有效的方法，可有效解决
    1. 特定于任务的标签十分稀少
    2. 现实世界应用通常含有分布外（out-of-distribution）的样例，也就是说在训练集和测试集的图在结构上十分不一样
  • 挑战：现有地模型没有系统地研究图上的预训练操作，因而我们不知道什么样的预训练操作有效，以及在实际应用中效果如何
  • 贡献：
    1. 提出了首个系统的大型预训练模型
      1. 放出了两个大型的预训练图数据集
      2. 证明了现有的小数据量的benchmark不能够在统计上可靠地评估预训练
    2. 提出了预训练策略原则（principled pre-training strategy），并证明其的有效性以及在硬迁移学习（hard transfer learning）问题上的分布外泛化能力
  • 预训练GNN不总是有效，很多都会导致下游任务的负迁移
  • 预训练GNN的有效方法：使用简单可达的节点级信息，然后鼓励模型学习关于节点和边的领域特定的知识
    • 这一思想对于生成健壮且可转移到不同下游任务的图级表示（通过池化节点表示获得）至关重要

2 PRELIMINARIES ONGRAPHNEURALNETWORKS

  • GNNs：
    • 为了获取图级表征，在最后一次迭代（
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

阅读笔记

无监督学习

图计算

机器学习

TOP 100值得读的图神经网络----自监督学习与预训练 的相关文章

  • Centos7配置服务开机启动

    Background 这里记录方便自己以后查阅 配置开机启动的方法有三种 1 配置 etc rc local或 etc rc d rc local 2 配置 etc rc d init d 3 配置 usr lib systemd syst

  • Android数据的四种存储方式SharedPreferences、SQLite、ContenProvider

    作为一个完整的应用程序 数据存储操作是必不可少的 因此 Android系统一共提供了四种数据存储方式 分别是 SharePreference SQLite Content Provider File 由于Android系统中 数据基本都是私

  • Map&Set哈希桶（基础+常用方法总结）

    作者 渴望力量的土狗 博客主页 渴望力量的土狗的博客主页 专栏 数据结构与算法 工欲善其事必先利其器 给大家介绍一款超牛的斩获大厂offer利器 牛客网 点击免费注册和我一起刷题吧 目录 1 map set简介 1 1 概念及场景 1 2

  • centos7-elk之elasticsearch

    准备环境 centos7 4 jdk 1 8 安装jdk可见链接 https blog csdn net xuejinyan123 article details 102685458 下载 elasticsearch 版本 6 0 1 存放

随机推荐

  • mysql安装包及驱动下载

    1 下载MySQL安装包 mysql官网下载安装包地址 https downloads mysql com archives community 在页面选择希望下载的版本 运行环境 运行环境版本 下方会出现各种版本 MySQL数据库安装有y

  • 用于 3d 渲染应用程序的常见物体 IOR(折射率)值

    以下内容来源于 https www btbat com 12032 html 用于 3d 渲染应用程序的 IOR 折射率 值 那么支持的常用 3D 程序如下 如 NewTek Lightwave 3d Blender 3d Autodesk

  • 轻松实现crontab的使用

    一 什么情况下使用crontab crontab命令常见于Unix和类Unix的操作系统之中 用于设置周期性被执行的指令 二 如何编写crontab 1 安装crontab环境 bash内键入 crontab 如果提示command not

  • 人类学习 vs. 机器学习

    摘要 机器学习与人类学习的范式有一定的联系 本文发掘这些联系 作用是指导人类的学习 1 什么是学习 对于人类而言 学习是改造大脑皮层的过程 我们会发现 不同人学习不同东西的能力也不一样 如有些人数学厉害 有些人音乐厉害 同时 也有些牛人 学

  • 混沌神经网络的实际应用,进化算法优化神经网络

    人工神经网络的发展趋势 人工神经网络特有的非线性适应性信息处理能力 克服了传统人工智能方法对于直觉 如模式 语音识别 非结构化信息处理方面的缺陷 使之在神经专家系统 模式识别 智能控制 组合优化 预测等领域得到成功应用 人工神经网络与其它传

  • QFileDialog.getOpenFileName获取打开的文件路径

    前段时间要做一个打开文件并上传的功能 在不多加一个窗口的情况下选中那个打开的文件 def addButtonClicked self index try file name QFileDialog getOpenFileName self

  • Ubuntu20.04下编译测试RocksDB以及遇到的问题记录

    rockdb编译 git clone https github com facebook rocksdb git 如果上面的命令报错无法连接 则换成下面这句 git clone git github com facebook rocksdb

  • 大数据简历要点与模拟面试和项目介绍模板二

    15 模拟面试和项目介绍模板10 一 自我介绍 目前不知道怎么做 您好 我叫xxx 毕业于xxx学校 因为在大学里学过javase mysql web 数据结构与算法等计算机基础知识 在一份软件测试的实习中接触到数据仓库 用户画像 推荐系统

  • Mybatis如何实现多表查询

    一 按照配置文件的方式 在Java端mybatis框架里写联查sql语句 通过orm模型解析 这里需要考虑一对一以及一对多的关系 按student和score表举例 student对于score是一对多的关系 score对于student来

  • 访谈录：中国的软件业需要悟道

    1 记者 目前 随着中国IT业的发展 国外IT企业对中国IT业也越来越重视 能否简单介绍一下目前中国外包情况 陆其明 近几年 中国IT业的发展确实比较快 特别是软件行业 你可以看到 全国各地都在建软件园 各级政府对软件企业也都有政策倾斜 软

  • Three.js - 从 PLY 模型中创建粒子系统

    PLY全称 Polygon or Stanford Triangle Format 多边形或三角形格式 可以有效地保存和加载简单 静态的3D内容 支持二进制和ascii格式 可以存储顶点位置 颜色 法线和uv坐标 不能保存纹理 示例 htt

  • 登录模块丨前端uniapp微信小程序项目

    小兔鲜儿 微信登录 涉及知识点 微信授权登录 文件上传 Store 状态管理等 微信登录 微信小程序的开放能力 允许开发者获取微信用户的基本信息 昵称 性别 手机号码等 开发者常用来实现注册 登录的功能 登录方式 常见登录 注册方式 用户名

  • 9.java程序员必知必会类库之加密库

    前言 密码学在计算机领域源远流长 应用广泛 当前每时每刻 每一个连接到互联网的终端 手机 电脑 iPad都会和互联网有无数次的数据交互 如果这些数据都是明文传输那将是难以想象的 为了保护用户隐私 防止重要数据被窃取 篡改 我们需要对我们的数

  • 使用迭代器（iterator）遍历vector、map等

    所涉及方法 添加元素 array push back 正向迭代器 vector iterator 迭代器变量名 反向迭代器 vector reverse iterator 迭代器变量名 在不知道所包含数据个数的情况下用以遍历元素 vecto

  • [初学Python] IndentationError:unexpected indent

    在用Python实现求100以内的质数的编译程序或者说解释程序时出现了以下错误 根据编译后 解释后 的错误提示 说是num的 n 是一个IndentationError unexpected indent 什么意思呢 indentation

  • mac本工具使用配置

    1 CotEditor 文本编辑器 文本换行或者不换行设置 格式 换行 文本分栏展示 方便对比 显示 分栏显示 隐藏元素可见模式 格式 隐藏不可见元素

  • 解决Eclipse创建Android项目时出现No resource found that matches the given name ‘Theme.AppCompat.Light’的问题

    首先 对于该问题的详细分析大家可以查看Theme AppCompat Light问题的深入分析一文 里面详细介绍了该问题出现的原因 简单来讲 就是新的eclipse默认模版主题UI需要使用比较高版本api 如果需要支持低版本 需要导入app

  • 华为OD机试 - 九宫格按键输入（Java）

    题目描述 九宫格按键输入 输出显示内容 有英文和数字两个模式 默认是数字模式 数字模式直接输出数字 英文模式连续按同一个按键会依次出现这个按键上的字母 如果输入 或者其他字符 则循环中断 字符对应关系如图 要求输入一串按键 输出屏幕显示 输

  • ad原理图怎么导出pdf_如何把PDF导出为图片？方法很简单！

    很多人想将PDF文件转换成JPG文件 却不知道怎么转 或者通过网上一些方法 导出来的图片分辨率却很低 那我们怎么让PDF文件转换成JPG文件相对应的分辨率 今天小编给大家分享PDF快速导出JPG的技巧 PDF转jpg图片方法一 另存为法 另

  • TOP 100值得读的图神经网络----自监督学习与预训练

    清华大学的Top 100 GNN papers 其中分了十个方向 每个方向10篇 此篇为自监督学习与预训练方向的阅读笔记 Top100值得一读的图神经网络 大家好 我是蘑菇先生 今天带来Top100 GNN Papers盘点文 此外 公众号

热门标签

Powered by Hwhale