图网络-经济百科

图网络（GraphNetwork,GN）

什么是图网络

图网络（GraphNetwork,GN）是2018年由DeePMInd、谷歌大脑、MIT和爱丁堡大学等公司和机构的27位科学家共同提交的论文《RelationalinductiveBIases,deepLEArning,andgraphnetworks》中提出的一个基于关系归纳偏置的AI概念。研究人员称，该方法推广并扩展了各种神经网络方法，并为操作结构化知识和生成结构化行为提供了新的思路。

图网络内容

图网络是在拓扑空间（topologicalspace）内按图（graph）结构组织以进行关系推理（relationalreasoning）的函数集合。在深度学习理论中是图神经网络（graphneuralnetwork,GNN）和概率图模型（PRoBABilisticGraphicalModel,PGM）的推广。

图网络由相互连接的图网络块（GNblock）组成，在神经网络实现中也被称为“节点（node）”如图1中v_i。节点间的连接被称为“边（edge）”如图1中e_k，表示了节点间的依赖关系。s_k和r_k分别表示边e_k发送节点和接收节点的索引。图网络中节点和边的性质与图结构相同，因此可分为有向图（directedgraph）和无向图（undirectedgraph）。

有向图的例子包括递归神经网络（RecursiveNeuralNetwork）和循环神经网络（RecurrentNeuralNetwork）；

无向图的例子包括HoPFIeld神经网络、马尔可夫网络（MarkovNetwork）等。

需要指出，图网络在定义上并不是人工神经网络（ArtifICIalNeuralNetwork,ANN）的子集而是其推广，但在人工智能问题中，ANN是图网络的实现方式之一。

图1：图网络的定义

图网络的每个节点都有内部状态和系统状态，被称为“属性（attribute）”。图网络的属性会在计算中按时间步（tIMe-step）更新，更新方式包括同步和异步两种，同步更新时，一个时间步内所有节点的属性都会更新，异步更新时，一个时间步内只有部分节点的属性得到更新。

图2：图网络的节点、连边和全局信息

图网络的计算

对于一个任意的图结构G(V,E)，其中V=(v₁,...,v_n)表示节点集合，E=(e₁,...,e_n)表示边集合。每条边表示两个节点之间的依赖关系。节点之间的连接可以是有向的，也可以是无向的。图中每个节点v都用一组神经元来表示其状态h

其中N(v)表示节点v的邻居，表示在第t时刻节点v收到的信息，e。

上述两公式是一种同步的更新方式，所有的结构同时接受信息并更新自己的状态。而对于有向图来说，使用异步的更新方式会更有效率，比如循环神经网络或递归神经网络。在整个图更新T次后，可以通过一个读出函数（readoutfunction）y_t来得到整个网络的表示。

图网络与深度学习

图网络是一种框架将深度学习与贝叶斯网络进行了融合，其结果是产生了一种具有推理能力的概率图模型。但不仅如此，他们还提出了更多思路去结合深度学习与图网络，指明了在图网络领域应用深度学习的清晰方向。本质上，它是对神经网络的扩充，我们知道，神经网络的结构很特殊，而他的学习方式也通过反向传播进行连边上的权重调整。

而图网络则可以从多个角度对神经网络进行扩充，具体而言，任何一个图网络都包含节点、连边、全局信息这样三个大的信息单元，每个单元都可以被表征为一个向量。

相比于深度学习只能更新权重，图网络的学习发生于每一个环节上，包括对连边状态的更新、节点状态的更新和全局信息的更新。在做完前馈运算之后，它也会进行反向传播学习，因为它的每一步计算都是可微分的。

我们可以这样理解图网络的学习能力：图网络将前馈的思路放在了每一个环节，连边、节点、全局信息就都可以在反馈过程中被调整，这就使得网络的整体架构变得可学习。