您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识

(gat是什么意思)-gat是什么意思中文

节点,卷积,神经网络(gat是什么意思)-gat是什么意思中文

发布时间：2019-02-08加入收藏来源：互联网点击：

很多朋友想了解关于gat是什么意思的一些资料信息，下面是小编整理的与gat是什么意思相关的内容分享给大家，一起来看看吧。

一、什么是图神经网络？

在过去的几年中，神经网络的成功推动了模式识别和数据挖掘的研究。许多机器学习任务，如目标检测、机器翻译和语音识别，曾经严重依赖手工的特征工程来提取信息特征集，最近被各种端到端的深度学习范式（例如卷积神经网络（CNN）、长短期记忆（LSTM）和自动编码器）彻底改变了。在许多领域中，深度学习的成功部分归因于快速发展的计算资源（如GPU）和大量训练数据的可用，部分归因于深度学习从欧氏空间数据中提取潜在表示的有效。

尽管深度学习在欧氏空间中的数据方面取得了巨大的成功，但在许多实际的应用场景中的数据是从非欧式空间生成的，同样需要进行有效的分析。例如，在电子商务中，一个基于图的学习系统能够利用用户和产品之间的交互来做出非常准确的推荐。图数据的复杂对现有的机器学习算法提出了重大挑战，这是因为图数据是不规则的。每个图都有一个大小可变的无序节点，图中的每个节点都有不同数量的相邻节点，导致一些重要的操作（例如卷积）在图像上很容易计算，但不再适合直接用于图域。此外，现有机器学习算法的一个核心假设是实例彼此独立。然而，对于图数据来说，情况并非如此，图中的每个实例（节点）通过一些复杂的链接信息与其他实例（邻居）相关，这些信息可用于捕获实例之间的相互依赖关系。

近年来，人们对深度学习方法在图数据上的扩展越来越感兴趣。在深度学习的成功推动下，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了用于处理图数据的神经网络结构，由此一个新的研究热点——“图神经网络（Graph Neural Networks，GNN）”应运而生，本篇文章主要对图神经网络的研究现状进行简单的概述。

需要注意的是，图神经网络的研究与图嵌入（对图嵌入不了解的读者可以参考我的这篇文章 《图嵌入综述》 ）或网络嵌入密切相关，图嵌入或网络嵌入是数据挖掘和机器学习界日益关注的另一个课题。图嵌入旨在通过保留图的网络拓扑结构和节点内容信息，将图中顶点表示为低维向量空间，以便使用简单的机器学习算法（例如，支持向量机分类）进行处理。许多图嵌入算法通常是无监督的算法，它们可以大致可以划分为三个类别，即矩阵分解、随机游走和深度学习方法。同时图嵌入的深度学习方法也属于图神经网络，包括基于图自动编码器的算法（如DNGR和SDNE）和无监督训练的图卷积神经网络（如GraphSage）。下图描述了图嵌入和图神经网络在本文中的区别。

《图嵌入综述》 链接：https://zhuanlan.zhihu.com/p/62629465

二、有哪些图神经网络？

在本文中，我们将图神经网络划分为五大类别，分别是：图卷积网络（Graph Convolution Networks，GCN）、 图注意力网络（Graph Attention Networks）、图自编码器（ Graph Autoencoders）、图生成网络（ Graph Generative Networks） 和图时空网络（Graph Spatial-temporal Networks）。

符号定义

1、图卷积网络（Graph Convolution Networks，GCN）

图卷积网络将卷积运算从传统数据（例如图像）推广到图数据。其核心思想是学习一个函数映射 ，通过该映射图中的节点 可以聚合它自己的特征 与它的邻居特征 （

）来生成节点 的新表示。图卷积网络是许多复杂图神经网络模型的基础，包括基于自动编码器的模型、生成模型和时空网络等。下图直观地展示了图神经网络学习节点表示的步骤。

GCN方法又可以分为两大类，基于频谱（spectral-based）和基于空间（spatial-based）。基于频谱的方法从图信号处理的角度引入滤波器来定义图卷积，其中图卷积操作被解释为从图信号中去除噪声。基于空间的方法将图卷积表示为从邻域聚合特征信息，当图卷积网络的算法在节点层次运行时，图池化模块可以与图卷积层交错，将图粗化为高级子结构。如下图所示，这种架构设计可用于提取图的各级表示和执行图分类任务。

在下面，我们分别简单介绍了基于频谱的GCN和基于空间的GCN。

1.1 Spectral-based Graph Convolutional Networks

在大学里学过《数字信号处理》这门课程的朋友应该会记得，在这门课上我们通过引入傅里叶变换将时域信号转换到频域进行分析，进而我们完成一些我们在时域上无法完成的操作，基于频谱的图卷积网络的核心思想正是来源于此。

在基于频谱的图神经网络中，图被假定为无向图，无向图的一种鲁棒数学表示是正则化图拉普拉斯矩阵，即

其中，A为图的邻接矩阵，D为对角矩阵且

正则化图拉普拉斯矩阵具有实对称半正定的质。利用这个质，正则化拉普拉斯矩阵可以分解为

，其中

U是由L的特征向量构成的矩阵， 是对角矩阵，对角线上的值为L的特征值。正则化拉普拉斯矩阵的特征向量构成了一组正交基。

在图信号处理过程中，一个图的信号

是一个由图的各个节点组成的特征向量， 代表第i个节点。

对图X的傅里叶变换由此被定义为

傅里叶反变换则为

其中 为傅里叶变换后的结果。

为了更好地理解图的傅里叶变换，从它的定义我们可以看出，它确实将输入图信号投影到正交空间，在正交空间中，基由正则化图拉普拉斯的特征向量构成。

转换后得到的信号 的元素是新空间中图信号的坐标，因此原来的输入信号可以表示为

正是傅里叶反变换的结果。

现在我们可以来定义对输入信号X的图卷积操作了

其中， 是我们定义的滤波器； 表示Hadamard product。

假如我们定义这样一个滤波器

那么我们的图卷积操作可以简化表示为

基于频谱的图卷积网络都遵循这样的模式，它们之间关键的不同点在于选择的滤波器不同。

现有的基于频谱的图卷积网络模型有以下这些：Spectral CNN、Chebyshev Spectral CNN (ChebNet)、Adaptive Graph Convolution Network (AGCN)

基于频谱的图卷积神经网络方法的一个常见缺点是，它们需要将整个图加载到内存中以执行图卷积，这在处理大型图时是不高效的。

1.2 Spatial-based Graph Convolutional Networks

模拟传统卷积神经网络对图像的卷积运算，基于空间的方法基于节点的空间关系定义图卷积。为了将图像与图关联起来，可以将图像视为图的特殊形式，每个像素代表一个节点，如下图a所示，每个像素直接连接到其附近的像素。通过一个3×3的窗口，每个节点的邻域是其周围的8个像素。这八个像素的位置表示一个节点的邻居的顺序。然后，通过对每个通道上的中心节点及其相邻节点的像素值进行加权平均，对该3×3窗口应用一个滤波器。由于相邻节点的特定顺序，可以在不同的位置共享可训练权重。同样，对于一般的图，基于空间的图卷积将中心节点表示和相邻节点表示进行聚合，以获得该节点的新表示，如图b所示。

 1/3    1 2 3 下一页 尾页