首页 文章 精选 留言 我的

精选列表

搜索[跨设备融合],共10003篇文章
优秀的个人博客,低调大师

DeepWalk:图网络与NLP的巧妙融合

作者 | kaiyuan 整理 | NewBeeNLP公众号 最近这段时间一直在做图网络相关,也差不多收尾了,有空整体复盘了下,大致以下几个主题,不过没整理完全哈哈(下次一定) 顺手再安利几份资料吧 斯坦福的CS224W课程 清华大学唐杰老师的很多分享 清华大学 thunlp/GNNPapers 一些大佬们的新书:《Graph Representation Learning》、《Deep Learning on Graphs》 等等 ok,回到正题,今天要介绍的这篇是『Graph Embedding』系列第一篇,十分经典 论文:DeepWalk: Online Learning of Social Representations [1] 代码:https://github.com/phanein/deepwalk enjoy~ TL;DR DeepWalk是首次将深度学习技术(无监督学习)引入到网络分析(network analysis)中的工作,它的输入是一个图,最终目标就是获得网络图中每个结点的向量表示 。毕竟万物皆可向量,得到向量之后能做的事情就非常多了。如下所示是论文中给出的Karate network例子。 先验知识 说到生成向量表示,最有名的莫过于Word2Vec了,那么是不是可以将network embedding的问题转化为熟悉的word embedding形式呢?这样我们就可以借用word2vec的思想来解决了。 转化的方式就是Random Walk ,通过这种方式将图结构表示为一个个序列,然后我们就可以把这些序列当成一个个句子,每个序列中的结点就是句子中的单词。 简单的说,DeepWalk = RandomWalk + SikpGram, 下面我们来具体介绍下两种技术。 Random Walk 随机游走,顾名思义,就是从输入图中的任意一个结点 开始,随机选取与其邻接的下一个结点,直至达到给定长度 , 生成的序列 。在论文中,对于每一个顶点 , 都会随机游走出 条序列。 采用随机游走有两个好处: 「利于并行化」:随机游走可以同时从不同的顶点开始采样,加快整个大图的处理速度; 「较强适应性」:可以适应网络局部的变化; Skip Gram word2vec的skip-gram相信大家都非常熟悉了,这里就不再赘述,放一张图。 DeepWalk 结合上面两点, deepwalk其实就是首先利用random walk来表示图结构,然后利用skip-gram模型来更新学习节点表示。算法流程如下所示: 算法有两层循环,第一层循环采样 条路径,第二层循环遍历图中的所有结点随机采样一条路径并利用skip-gram模型进行参数更新。 其中第2步构建二叉树的目的是为了方便后续 SkipGram模型的层次softmax算法。 参数更新的流程如下: 一个小结 deepwalk可以说给网络学习方向打开了一个新思路,有很多优点: 支持数据稀疏场景 支持大规模场景(并行化) 但是仍然存在许多不足: 游走是完全随机的,但其实是不符合真实的社交网络的; 未考虑有向图、带权图 本文参考资料 [1]DeepWalk: Online Learning of Social Representations: https://arxiv.org/abs/1403.6652 -END- Graph-Bert:没有我Attention解决不了的 2020-08-17 ACL2020 | 什么时候值得用BERT上下文嵌入 2020-08-07 ICML2020研究趋势 2020-07-27 记得把NewBeeNLP设为星标哦 等你在看 本文分享自微信公众号 - NewBeeNLP(NewBeeNLP)。如有侵权,请联系 support@oschina.cn 删除。本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册