第3章 3.1基于深度学习的网络表示研究进展

网络结构在现实世界中无处不在（如航线网络、通信网络、论文引用网络、世界万维网和社交网络等），在此基础之上的应用和研究问题受到了学术界和工业界的广泛关注，这些研究问题包括链接预测[1] 、网络节点分类 [2-3] 、推荐 [4]和异常检测[5]等。随着计算机信息技术的高速发展和迅速普及，现实世界中的网络结构，尤其是以 Twitter、Facebook和 Weibo 为代表的大规模社交网络进入了亿级节点时代。除网络结构之外，网络节点自身也会产生大量的相关信息。如今，大规模的网络结构数据和丰富的网络节点信息对相关的研究方法提出了新的挑战。

表示学习 (representation learning) 旨在通过无监督的方法 , 将符号化的数据 (symbolic data)编码到低维、连续、稠密的向量空间中[6] 。相比传 统 的 独 热 表 示 (one-hot representation), 表 示学习能够抓住数据之间的相似性 , 同时缓解数据稀疏性问题 (data sparsity)。在网络表示学习中，传统的基于特征向量的降维方法[7-8]需要构造亲和度矩阵 (affinity matrix)，通过特征向量求解的方法获得网络节点的低维表示。特征向量求解的方 法 有 MDS [9] 、IsoMap [10] 、LLE [11] 和 LaplacianEigenmap [12] 等，这些算法的复杂度通常平方正比于网络结构中节点的数量，所以并不适用于大规模的网络结构。最近，基于神经网络的表示学习方法在视觉、语音识别和自然语言处理等领域获得了成功。在自然语言处理中，文本表示学习模型（如词表示学习[13-14]和文档的表示学习[15] ）具有算法高效性的特点，能够处理大规模文本数据，受到了极大的关注。文献 [16] 分析了社交网络中随机游走的序列，发现序列中的网络节点的频率分布类似于自然语言中词频的幂律分布。在最新的科学研究中，文本表示学习模型被广泛用于网络表示学习模型中。

本文介绍近年内出现的有代表性的基于深度学习的网络表示模型，其中包括 : ① 考虑网络结构 信 息 网 络 表 示 方 法 DeepWalk [16] 、LINE [17] 和GraRep [18] ; ② 同时考虑网络结构信息和网络节点多源信息 (multi-source) 的网络表示方法 TADW [19] 和Multi-faceted Representations [20] ，并分析了这两类模型的特点，指明了进一步研究的方向。文献 [21]介绍了五类主要的网络表示方法，包括基于谱方法的网络表示学习、基于最优化的网络表示学习（与任务相关属于半监督学习方法）、概率生成式模型的网络表示学习、基于力导向绘图的网络表示学习和基于深度学习的网络表示学习。与文献 [21] 不同的是，本文重点关注近年来基于深度学习的网络表示方法，所涉及的模型更加全面，同时给出了详细的推导和分析。