论文信息

论文标题：Graph U-Nets
论文作者：Hongyang Gao, Shuiwang Ji
论文来源：2019,ICML
论文地址：download 
论文代码：download

1 Introduction

　　受到类似 encoder-decoder architecture 的 U-Nets 影响，作者希望能在图数据上使用这种 pooling 和 up-sampling 的操作。

　　Note：Encoder 一般是降维，可以看成 pooling ；而 Decoder 一般是升维，可以看成 up-sampling 操作。

2 Graph U-Nets

　　本节依次介绍 graph pooling (gPool) layer， graph unpooling (gUnpool) layer，然后介绍本文用于节点分类的 U-Nets 。

2.1 Graph Pooling Layer

　　global pooling 操作将把所有节点减少为一个节点，这限制了网络的灵活性。k-max pooling 操作输出图中可能来自不同节点的 $k$ 个最大单元，导致所选节点的连通性不一致。

　　本文提出利用投影向量  $\mathbf{p}$  来计算图中各个节点的重要性，并且  $\mathbf{p}$  是可训练的参数，不需要认为指定。假设节点的嵌入向量为  $\mathbf{x}_{\mathrm{i}}$ , 它在向量  $\mathbf{p}$  上的投影为  $\mathrm{y}_{\mathrm{i}}=\mathbf{x}_{\mathrm{i}} \mathbf{p} /\|\mathbf{p}\|$， $\mathrm{y}_{\mathrm{i}}$  可以作为衡量节点重要性的度量。

　　$\mathrm{gPool}$ 计算过程为：

　　　　$\begin{array}{l}\mathbf{y} &=&X^{\ell} \mathbf{p}^{\ell} /\left\|\mathbf{p}^{\ell}\right\| \\\mathrm{idx} &=&\operatorname{rank}(\mathbf{y}, k) \\\tilde{\mathbf{y}} &=&\operatorname{sigmoid}(\mathbf{y}(\mathrm{idx})) \\\tilde{X}^{\ell} &=&X^{\ell}(\mathrm{idx},:) \\A^{\ell+1} &=&A^{\ell}(\mathrm{idx}, \mathrm{idx}) \\X^{\ell+1} &=&\tilde{X}^{\ell} \odot\left(\tilde{\mathbf{y}} \mathbf{1}_{C}^{T}\right)\end{array}$

　　图示如下：

　　

2.2 Graph Unpooling Layer

　　为在图数据上实现 up-sampling 操作，本文提出 graph unpooling (gUnpool) layer。

　　

　　在形式上，gUnpool 的层级传播规则为：

　　　　$X^{\ell+1}=\operatorname{distribute}\left(0_{N \times C}, X^{\ell}, \mathrm{idx}\right)$

　　其中，

    • $idx \in \mathbb{Z}^{* k}$ 包含在相应的 gPool 层中所选节点的索引，从而将图的大小从 $N$ 个节点减少到 $k$ 个节点；
    • $X^{\ell} \in \mathbb{R}^{k \times C}$ 是当前图的特征矩阵；
    • $0_{N \times C}$ 是新图的 0 填充的特征矩阵；

　　Note：在 $X^{\ell+1}$ 中，$idx$ 中具有索引的行向量由 $X^{\ell}$ 中的行向量更新，而其他行向量保持为零。

2.3 Graph U-Nets Architecture

　　如图所示：

　　

2.4 Graph Connectivity Augmentation via Graph Power

　　在 gPool 层中，对一些重要的节点进行采样，形成一个新的特征编码图。由于在删除 gPool 中的节点时相关边被删除，所以 pooled graph 中可能形成孤立点。可能会影响信息在后续层中的传播，特别是当使用 GCN 层来聚合来自邻近节点的信息时。所以需要增加 pooled graph 中节点之间的连通性。

　　为了解决上述问题，使用第 $k$ 个图的幂 $\mathbb{G}^{k}$ 来增加图的连通性。文中使用 $k = 2$ ，替换计算过程中的 $A^{\ell+1}$：

　　　　$A^{2}=A^{\ell} A^{\ell}, \quad A^{\ell+1}=A^{2}(\mathrm{idx}, \mathrm{idx})$

2.5 Improved GCN Layer

　　在  $\mathrm{GCN}$  中邻接矩阵  $\hat{\mathrm{A}}=\mathrm{A}+\mathrm{I}$ , 论文中改为  $\hat{\mathrm{A}}=\mathrm{A}+2 \mathrm{I}$，给予中心节点更大的权重。

3 Experimental Study

数据集

　　

　　

节点分类

　　

图分类

　　

4 Conclusion

　　在这项工作中，我们提出了g-U-Nets网络中新的 gPool 和 gUnpool 层用于网络嵌入。gPool 层对图形数据实现了规则的全局 k-max 池化操作。它对重要节点的子集进行采样，以实现高级特征编码和接受域扩大。通过使用一个可训练的投影向量，gPool层根据其标量投影值对节点进行采样。此外，我们提出了对图数据应用非池操作的gUnpool层。利用原图中节点的位置信息，gUnpool 层对相应的 gPool 层进行逆操作，恢复原图的结构。基于我们的 gPool 和 gUnpool 层，我们提出了图 U-Nets(gU-Nets) 结构，它在图像数据上使用与常规U-Net类似的编码-解码器结构。实验结果表明，与其他gnn相比，我们的g-u-net在转换学习任务上实现了性能的提高。为了避免采样图中可能存在的孤立节点问题，我们采用第二图幂来提高图的连通性。对消融术的研究表明了这些贡献

论文解读（g-U-Nets）《Graph U-Nets》的更多相关文章

  1. 论文解读《Deep Attention-guided Graph Clustering with Dual Self-supervision》

    论文信息 论文标题:Deep Attention-guided Graph Clustering with Dual Self-supervision论文作者:Zhihao Peng, Hui Liu ...

  2. 论文解读 - Relational Pooling for Graph Representations

    1 简介 本文着眼于对Weisfeiler-Lehman算法(WL Test)和WL-GNN模型的分析,针对于WL测试以及WL-GNN所不能解决的环形跳跃连接图(circulant skip link ...

  3. 论文解读GALA《Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning》

    论文信息 Title:<Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learn ...

  4. 论文解读（GraphMAE）《GraphMAE: Self-Supervised Masked Graph Autoencoders》

    论文信息 论文标题:GraphMAE: Self-Supervised Masked Graph Autoencoders论文作者:Zhenyu Hou, Xiao Liu, Yukuo Cen, Y ...

  5. 论文解读（KP-GNN）《How Powerful are K-hop Message Passing Graph Neural Networks》

    论文信息 论文标题:How Powerful are K-hop Message Passing Graph Neural Networks论文作者:Jiarui Feng, Yixin Chen, ...

  6. 论文解读（SR-GNN）《Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training Data》

    论文信息 论文标题:Shift-Robust GNNs: Overcoming the Limitations of Localized Graph Training Data论文作者:Qi Zhu, ...

  7. 论文解读（LG2AR）《Learning Graph Augmentations to Learn Graph Representations》

    论文信息 论文标题:Learning Graph Augmentations to Learn Graph Representations论文作者:Kaveh Hassani, Amir Hosein ...

  8. 论文解读（GCC）《Efficient Graph Convolution for Joint Node RepresentationLearning and Clustering》

    论文信息 论文标题:Efficient Graph Convolution for Joint Node RepresentationLearning and Clustering论文作者:Chaki ...

  9. 论文解读（AGC）《Attributed Graph Clustering via Adaptive Graph Convolution》

    论文信息 论文标题:Attributed Graph Clustering via Adaptive Graph Convolution论文作者:Xiaotong Zhang, Han Liu, Qi ...

  10. 论文解读 - Composition Based Multi Relational Graph Convolutional Networks

    1 简介 随着图卷积神经网络在近年来的不断发展,其对于图结构数据的建模能力愈发强大.然而现阶段的工作大多针对简单无向图或者异质图的表示学习,对图中边存在方向和类型的特殊图----多关系图(Multi- ...

随机推荐

  1. epoll示例

    书到用时方恨少,一切尽在不言中 #include <iostream> #include <sys/socket.h> #include <sys/epoll.h> ...

  2. IOS 欢迎页（UIScrollView，UIPageControl）

    本文介绍了app欢迎页的简单实现.只有第一次运行程序时才说会出现,其余时间不会出现.下面是效果图. 代码如下:(如有不明白的可以评论我,我会详细讲解) // // ViewController.m / ...

  3. linux第9天 UDP

    今天学了一点UDP知识,还是IP协议.都不是重点,重点是socket服务器框架 不过还是把今天学的东西,先罗列出来,将来复习的时候方便 q  UDP报文可能会丢失.重复 q  UDP报文可能会乱序 q ...

  4. nyoj 85 有趣的数

    点击打开链接 有趣的数 时间限制:3000 ms  |  内存限制:65535 KB 难度: 描述 把分数按下面的办法排成一个数表. 1/1 1/2 1/3 1/4..... 2/1 2/2 2/3. ...

  5. POJ1699Best Sequence(DFS)

    链接 这题其实是由bug的 一个串包含其它两个串的数据没有 所以就这么水了它吧 只处理两个串的关系就行了 回来补点..看了huge的博客 发现其实不是有Bug  题意没读清楚 必须首尾相连 像AGCT ...

  6. python分布式抓取网页

    呵呵,前两节好像和python没多大关系..这节完全是贴代码, 这是我第一次写python,很多地方比较乱,主要就看看逻辑流程吧. 对于编码格式确实搞得我头大..取下来页面不知道是什么编码,所以先找c ...

  7. leetcode371

    我这道题目真的是划水的,因为弄了很长时间发现,我可能对于位操作不是特别喜欢吧. 确实为了最求速度,位操作确实快一些. 单独从题目意思来说,用别的方式实现加法,我觉得吧,真的有点醉了...就这样. 下面 ...

  8. Linux_window与linux之间文件互传，上传下载

    window与linux之间文件互传 运行环境:Centos os7 + win8.1 +putty putty:是一个Telnet,ssh,rlogin,纯tcp以及串行接口连接软件,由于linux ...

  9. Jmeter JDBC Connection Configuration 链接失败，提示Error preloading the connection pool

    修改数据配置的连接数即可:修改为小一点 下面是oracle 配置连接的方式

  10. smbclient和mount -t cifs共享win的共享文件夹? autocad小记

    插入U盘没有反应? 首先,打开设备管理器, 发现usb大容量设备为黄色感叹号 其次, 将这个usb大容量设备先卸载, 然后点击"自动扫描硬件变化",就可以重新自动安装usb的驱动. ...