word2vec深入浅出，保证你一看就会（3）-低调大师

word2vec深入浅出，保证你一看就会（3）

2016-11-17 642

上一期介绍了word2vec中的模型更新优化的比较“弱”的形式NEGATIVE SAMPLING。这一期将推出另一种优化方案，Hierarchical Softmax。

Hierarchical Softmax

我们的目标是加速project->output层的计算。下图描述了新的project->output层情况

回到我们的初衷，我们的目的是对于一个输入词，把周围词作为输出词，期待输出词的值是最大的。
假设我们期待的输出词（答案）是\(w_2\)(不是权值矩阵 \(w2\))。那么我们扔一个小球从root开始，有向左滚概率0.8，向右0.2，然后继续滚，最后总会滚到低，我们期望滚到\(w_2\)洞的概率最大。
图示的情况下，滚到\(w_2\)的概率为0.80.40.7，显然滚到所有洞的概率和为1。

明确每个部分的含义：
每个白色

微信关注我们

原文链接：https://yq.aliyun.com/articles/64424

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

word2vec深入浅出，保证你一看就会（1）

下一篇地址https://yq.aliyun.com/articles/64423 word2vec 是现在在自然语言处理中非常非常实用的技术，word2vec一般的用途通常有两种，第一种是其他复杂的神经网络模型的初始化，还有一种是把词与词之间的相似度来作为某个模型的特征。 word2vec的最大优势不但是因为它效果比较好，最大的原因是因为它非常的快，几亿的文本都能很快训练完成，因此深受研究者的喜爱。 word2vec目前主流有两种实现的方式，一个是Mikolov13年的skip-gram实现，另一个是stanford大学的golve实现，两者现在都被广泛使用。对应的论文分别为 https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-ph

2016-11-18

652

之前花了5篇介绍了word2vec的方法。词向量最大的意义是把原来的字符串变成了一个数字形式的向量，也就是说现在词和图像变得非常相近，因为图像也就是例如255*255的像素点，而每个像素也是一个数字。因此，词向量被很多任务作为初始的输入，从这开始，我将以轻松的形式来介绍词向量的运用场景。 = 本着先进性的原则，我会介绍最新的16年的论文，以较轻松的形式。今天分析这篇：用词向量理解词组的含义http://aclweb.org/anthology/Q/Q16/Q16-1002.pdf Key Idea 作者的核心思想：用词典的定义来训练词组，如 Piano： A large keyboard musical instrument with a wooden case enclosing a soundboard and metal str

2016-11-18

607

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。