30分钟了解图神经网络

图神经网络介绍

图神经网络(GNN)属于神经网络的一类,它自然地对以图为结构的数据进行操作。 尽管这可能是一个令人困惑的话题,但是GNN可以被提炼为少数几个简单的概念。

从递归神经网络(RNN)开始

我们将选择一个可能熟悉的起点:循环神经网络。

你可能还记得,循环神经网络非常适合按顺序排列的数据,例如时间序列数据或语言。

递归神经网络的定义特征是RNN的状态不仅取决于当前的输入,而且还取决于网络的先前隐藏状态。 多年来,RNN已有许多改进,通常属于LSTM样式的RNN,在模型的当前状态和先前的隐藏状态之间具有乘法门功能。 在这里可以找到LSTM变体及其与香草RNN的关系的综述。

递归神经网络(RNN)
递归神经网络(RNN)

尽管递归神经网络已被大型变压器模型自然语言处理所取代,但它们仍在需要顺序决策和记忆的众多领域中得到广泛应用(想到增强学习)。

现在想象一下RNN作为有向线性图操作的序列,但是删除输入和加权连接,它们将分别作为节点状态和边嵌入。

实际上,也要删除输出。 在图神经网络中,输入数据是每个节点的原始状态,并且在执行一定数量的定义为超参数的更新之后,从隐藏状态中解析输出。

将递归神经网络(RNN)重新成像为图神经网络(GNN)
将递归神经网络(RNN)重新成像为图神经网络(GNN)

首先,每个节点汇总其邻居的状态。

这可以通过神经网络的前向传递来实现,该神经网络具有跨边缘共享的权重,或者可以简单地对所有相邻节点的状态向量求平均。 节点自身先前的隐藏状态也包含在此邻域聚合中,但通常会受到特殊对待。 节点的自身状态可以通过其自身的隐藏层进行解析,也可以将其简单地附加到根据所有相邻状态的均值聚合而来的状态向量中。

广义GNN中没有时间的概念,每个节点都从其邻居提取数据,而不管它们是在“前面”还是“后面”,尽管在有向图或具有多种连接形式的图中,不同的边可能具有 自己的汇总政策。 邻域聚合的另一个术语是神经消息传递。

GNN的通用性还存在很大的空间。

通常,GNN更新可以分为两个简单步骤:

  1. 聚合或解析相邻节点的状态,也称为“消息传递”。
  2. 更新节点状态

现在我们已经建立了联系,可以将RNN表示为图神经网络的特例,让我们备份一下,并确保我们都熟悉相同的术语。

图形是一种数学抽象,用于表示和分析通过称为边的关系连接的节点(又称为顶点)的网络。 图具有自己丰富的数学分支,称为图论,用于操纵和分析。 下面显示了一个带有4个节点的简单图形:

带有4个节点的简单图形
带有4个节点的简单图形

上图的节点可以很容易地描述为列表:[0,1,2,3],而边可以描述为邻接矩阵,其中每个边由1表示,并且节点之间缺少连接为0。

Node a b c d
a 0 1 0 0
b 1 0 1 1
c 0 1 0 1
d 0 1 1 0

GNN的非定向性质

上面的邻接矩阵反映了相应图的无向性质。 节点0和节点1之间的连接与1和0之间的连接具有相同的连接类型,这反映在关于矩阵对角线的对称性中。

在邻接矩阵中反映节点的自连接也很常见,我们可以通过添加等效大小的单位矩阵,在每个对角线元素处将邻接矩阵的值设置为1,来轻松更新矩阵以显示此信息。

为了建立最终的直觉,让我们直观地了解信息如何通过图形传播。 在这种情况下,没有用于更新节点状态的步骤2(或者我们可以将更新步骤视为身份函数),并且节点状态由标量表示。

示例图片
示例图片

图形中标量状态传播的简单示例使我们直观地了解图形的结构如何影响信息流,以及这如何影响模型的最终输出。

有意思的是,附近的节点之间的影响比远处的节点要大,并且通过稀疏连接传播会阻碍影响。

对邻接矩阵意味着什么?

回到前面提到的邻接矩阵:这实际上是汇总相邻节点状态的一种特别简单的方法。我们可以简单地将节点状态的数组与邻接矩阵进行矩阵乘法,以求出所有邻居的值之和,或者首先将矩阵中的每一列除以该列的总和,以获得相邻节点状态的均值。这是定义和实施邻域节点聚合的简便且计算快速的方法。

另一种策略是将每种类型的边缘定义为前馈神经网络,并与该类型边缘的所有实例共享权重。在进行平均之前,将前馈网络应用于每个邻居节点状态向量,或者在图形关注网络中,应用关注然后求和。最后,在真实的GNN中,在汇总了节点自身和邻居的状态数据后,该节点的状态就会更新。更新规则可以是任何类型的神经网络,但通常使用诸如门控循环单元(GRU)之类的循环模型。

图神经网络在推理场景中的应用

让我们以适合于应用图神经网络的现实(但仍然简化)的场景为例,看看这种结构信息如何有助于有用的推理。

假设我们想预测氨基酸残基中的哪些原子是亲水性的(与水混溶),而不是像油那样的疏水性原子。 这是确定蛋白质如何折叠的重要信息,这是分子生物学中一个困难而基本的问题。 我们将以精氨酸为例,精氨酸是一种具有亲水和疏水特性的氨基酸。 将分子制成图表后:

示例2
示例2

我们可以运行邻域聚合和状态更新来获得每个节点的亲水性预测。 在生理pH下,精氨酸的主链和氨基酸侧链中的氨基被质子化。 另一方面,将主链连接至侧链末端的长烃链非常疏水,因此精氨酸既具有防水性又具有防水性。

影响这种双重性质的精氨酸侧链的一个有趣方面是亲水性分布在侧链的所有三个含氮氨基残基上。 围绕中央碳的3个氮的这种排列的术语是胍基。 很难想象通过孤立地考虑每个节点来捕获这种分散的亲水性,但这恰恰是可以通过合并图的结构信息来学习的洞察力类型。

图神经网络应用发展历史

尽管在2005年描述了图神经网络,并且在此之前出现了相关的概念,但是GNN最近才真正开始出现。在过去的几年中,GNN在社交网络分析和计算化学中得到了热烈的欢迎,尤其是在药物发现方面。这样一来,熟悉有希望的模型样式并不是一个坏时机,以防您可能会遇到容易在图表上阐明的这类问题。

GNN最早的应用之一是网页搜索的网页排名,但自那时以来已经走了很长一段路。自然语言处理和句子结构解析是另一种早期应用,它在2010年的文本摘要基准上取得了最先进的结果。从那时起,GNN已用于从交通预测到量子化学的所有领域。

材料科学最近成为应用GNN的一个有吸引力的领域。 Deepmind在今年早些时候发布了使用GNN的结果,以阐明玻璃化转变,这是物理学中一个颇具争议的话题。这是使用GNN研究材料特性的更大趋势的一部分。一个相关的应用领域,或者说在潜在影响方面最令人兴奋的领域是化学的图神经网络。 GNN特别适合于有关分子的神经推理,包括构成良好候选药物的小分子。如果您对使用GNN进行药物发现感兴趣或对机器学习有更好的了解,则实际上是必备技能。

图神经网络(GNN)下一步发展?

注意是一个概念,它使机器学习模型能够学习如何将不同的权重分配给不同的输入,换句话说,可以使模型具有管理自己的注意力的能力。我们可以将Vaswani等人的“注意力集中在您所需要的”上,作为该领域近期开创性工作的一个例子。论文将全神贯注的转换器视为全能语言模型(有关注意力和变形器的更多信息,请参见此处)。近年来,随着像BERT和GPT-3这样的大型转换器模型在自然语言指标中占主导地位,这在很大程度上已成为现实。

让我们早先讨论过的现有GNN算法更加受关注。在邻域聚合期间,除了通过图边缘上的前馈网络转换相邻节点的状态外,还包括一种关注机制来计算矢量加权系数。

可以使用几种注意机制,例如Jay Allamar充分说明的原始变压器模型中使用的点积注意机制。在此方案中,除了每个输入的值向量之外,完全连接的层还生成键和查询向量,在这种情况下,它们通过图形边缘连接到节点。取键和查询向量的点积可得出一个标量常数,然后将其与图邻域中的所有其他键查询点积(也称为原始关注系数)一起使用softmax激活函数。最后,与其直接对所有的值向量求和,不如先对它们进行关注系数加权。

示例图3
示例图3

量子图神经网络(QGNN)

如果图神经网络上的量子化学是在推断量子化学时利用分子结构的有效方法,那么将GNN的神经网络定义为ansatz或量子电路架构,可以使模型更接近于它们所在的系统进行预测和学习。量子图神经网络(QGNN)由Verdon等人于2019年引入。作者进一步将他们的工作分为两类:量子图递归神经网络和量子图卷积网络。

QGNN使用的特定类型的量子电路属于“变分量子算法”类别。简而言之,这些是具有可以通过梯度下降来训练的参数的量子电路,并且这些可训练的参数是权重和偏置的量子等效项。训练变分量子算法/电路时,一个已知的问题是健身景观中存在“贫瘠高原”的地区,这些地区的客观得分变化不大。 QGNN被设计为向变分量子电路传递结构信息以改善贫瘠高原的存在的一种手段。 Verdon和同事展示了QGNN用于学习量子动力学,图聚类和图同构分类。

用图神经网络(GNN)替代神经网络?

您是否应该将数据集转换为图形,并用GNN替换所有神经网络?答案当然取决于您问题的自然适用性(以图表的形式)。强制将在线性序列或2D网格上更好地表示的数据集拟合在图形上可能只会导致更困难的实现和较慢的训练。 GNN看起来确实将在未来几年中成为分子机器学习的主要模型类型,因此,如果您要从事计算化学工作,那么它是一个熟悉的重要工具。对于药物发现和开发而言,这翻了一番。

GNN似乎也很适合社交媒体图和自然可表示为图的其他类型的关系网络。尽管GNN已用于基于图像和语言的任务,但到目前为止,转换器和旧的可靠的转换网络似乎已经很好地覆盖了这些领域。最后,GNN可能还会为将深度学习神经网络与“良好的老式AI”(GOFAI)结合提供一个引人注目的框架,该主题已在JCAI关于神经符号AI的调查论文中进行了审查。这种混合方法可能会在解释性和控制方面提供一些优势,但会在总体灵活性上付出一些代价。

GNN的未来

如果您听说过图神经网络,但因其看起来复杂而被推迟,那么希望本文有助于克服最初的障碍。

请记住,GNN只是驻留在图上并在图上运行的深度学习模型。 在构建方式上有很多灵活性,但是它们都共享邻域聚合和状态更新的基本步骤。

如果您一直在期待获得巨大的商业成功,那么接下来的几年中,GNN对计算化学和药物发现的影响将是无与伦比的。 这是一个值得您熟悉的模型课程,并准备在这十年中找到越来越大的吸引力和影响力。

SO资源郑重声明:
1. 本站所有资源来源于用户上传和网络,因此不包含技术服务请大家谅解!如有侵权请邮件联系客服!3187589@qq.com
2. 本站不保证所提供下载的资源的准确性、安全性和完整性,资源仅供下载学习之用!如有链接无法下载、失效或广告,请联系客服处理,有奖励!
3. 您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容资源!如用于商业或者非法用途,与本站无关,一切后果请用户自负!

SO资源 » 30分钟了解图神经网络