DeepWalk：图网络与NLP的巧妙融合-低调大师

DeepWalk：图网络与NLP的巧妙融合

2020-09-21 805

作者 | kaiyuan

整理 | NewBeeNLP公众号

最近这段时间一直在做图网络相关，也差不多收尾了，有空整体复盘了下，大致以下几个主题，不过没整理完全哈哈（下次一定）

顺手再安利几份资料吧

斯坦福的CS224W课程
清华大学唐杰老师的很多分享
清华大学 thunlp/GNNPapers
一些大佬们的新书：《Graph Representation Learning》、《Deep Learning on Graphs》
等等

ok，回到正题，今天要介绍的这篇是『Graph Embedding』系列第一篇，十分经典

论文：DeepWalk: Online Learning of Social Representations ^[1]
代码：https://github.com/phanein/deepwalk

enjoy~

TL;DR

DeepWalk是首次将深度学习技术（无监督学习）引入到网络分析（network analysis）中的工作，它的输入是一个图，最终目标就是获得网络图中每个结点的向量表示。毕竟万物皆可向量，得到向量之后能做的事情就非常多了。如下所示是论文中给出的Karate network例子。

先验知识

说到生成向量表示，最有名的莫过于Word2Vec了，那么是不是可以将network embedding的问题转化为熟悉的word embedding形式呢？这样我们就可以借用word2vec的思想来解决了。

转化的方式就是Random Walk ，通过这种方式将图结构表示为一个个序列，然后我们就可以把这些序列当成一个个句子，每个序列中的结点就是句子中的单词。

简单的说，DeepWalk = RandomWalk + SikpGram，下面我们来具体介绍下两种技术。

Random Walk

随机游走，顾名思义，就是从输入图中的任意一个结点开始，随机选取与其邻接的下一个结点，直至达到给定长度，生成的序列。在论文中，对于每一个顶点，都会随机游走出条序列。

采用随机游走有两个好处：

「利于并行化」：随机游走可以同时从不同的顶点开始采样，加快整个大图的处理速度；
「较强适应性」：可以适应网络局部的变化；

Skip Gram

word2vec的skip-gram相信大家都非常熟悉了，这里就不再赘述，放一张图。

DeepWalk

结合上面两点， deepwalk其实就是首先利用random walk来表示图结构，然后利用skip-gram模型来更新学习节点表示。算法流程如下所示：

算法有两层循环，第一层循环采样条路径，第二层循环遍历图中的所有结点随机采样一条路径并利用skip-gram模型进行参数更新。

其中第2步构建二叉树的目的是为了方便后续 SkipGram模型的层次softmax算法。

参数更新的流程如下：

一个小结

deepwalk可以说给网络学习方向打开了一个新思路，有很多优点：

支持数据稀疏场景
支持大规模场景（并行化）

但是仍然存在许多不足：

游走是完全随机的，但其实是不符合真实的社交网络的；
未考虑有向图、带权图

本文参考资料

[1]

DeepWalk: Online Learning of Social Representations: https://arxiv.org/abs/1403.6652

- END -

Graph-Bert：没有我Attention解决不了的 2020-08-17

ACL2020 | 什么时候值得用BERT上下文嵌入 2020-08-07

ICML2020研究趋势 2020-07-27

记得把NewBeeNLP设为星标哦

等你在看

本文分享自微信公众号 - NewBeeNLP（NewBeeNLP）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

微信关注我们

原文链接：https://my.oschina.net/u/4594481/blog/4632447

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Kubernetes 新玩法：在 yaml 中编程

引子性能测试在日常的开发工作中是常规需求，用来摸底服务的性能。那么如何做性能测试？要么是通过编码的方式完成，写一堆脚本，用完即弃；要么是基于平台，在平台定义的流程中进行。对于后者，通常由于目标场景的复杂性，如部署特定的 workload、观测特定的性能项、网络访问问题等，往往导致性能测试平台要以高成本才能满足不断变化的开发场景的需求。在云原生的背景下，是否可以更好解决这种问题？先看两个 yaml 文件： performance-test.yaml 描述了在 K8s 中的操作流程：创建测试用的 Namespace 启动针对 Deployment 创建效率和创建成功率的监控下述动作重复 N 次：① 使用 workload 模板创建 Deployment；② 等待 Deployment 变为 Ready 删除测试用的 Namespace basic-1-pod-deployment.yaml 描述使用的 workload 模板 performance-test.yaml ： apiVersion: aliyun.com/v1alpha1 kind: Beidou metada...

2020-09-22

576

Spring容器载入bean顺序是不确定的，Spring框架没有约定特定顺序逻辑规范。但Spring保证如果A依赖B(如beanA中有@Autowired B的变量)，那么B将先于A被加载。逻辑判断在业务层自己控制A，B的初始化顺序构造方法依赖 @Component publicclass DemoA { private String name = "demo A"; public DemoA(DemoB demoB) { System.out.println(name); } } @Component publicclass DemoB { private String name = "demo B"; public CDemoB() { System.out.println(name); } } 这个时候构造A的时候就会先去构造B 使用@DependsOn Spring 中的@DependsOn可以保证被依赖的bean先于当前bean被容器创建 @DependsOn注解可以定义在类和方法上，意思是我这个组件要依赖于另一个...

2020-09-22

849

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。