深度学习将会变革NLP中的中文分词-低调大师

深度学习将会变革NLP中的中文分词

2017-07-31 639

雷锋网(公众号：雷锋网)按：本文转自ResysChina高翔，文章主要介绍了1）区分中文分词的方法；2）用深度学习的方法来解决中文分词的好处及其具体应用。

现有分词介绍

自然语言处理（NLP，Natural Language Processing）是一个信息时代最重要的技术之一，简单来讲，就是让计算机能够理解人类语言的一种技术。在其中，分词技术是一种比较基础的模块。对于英文等拉丁语系的语言而言，由于词之间有空格作为词边际表示，词语一般情况下都能简单且准确的提取出来。而中文日文等文字，除了标点符号之外，字之间紧密相连，没有明显的词边界，因此很难将词提取出来。分词的意义非常大，在中文中，单字作为最基本的语义单位，虽然也有自己的意义，但表意能力较差，意义较分散，而词的表意能力更强，能更加准确的描述一个事物，因此在自然语言处理中，通常情况下词

微信关注我们

原文链接：https://yq.aliyun.com/articles/176473

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

机器学习零基础？手把手教你用TensorFlow搭建图像识别系统（二）| 干货

现在，我们可以开始建立我们的模型啦。实际上数值计算都是由TensorFlow来完成，它使用了一个快速并高效的C++后台程序。TensorFlow希望避免频繁地在Python和C++之间切换，因为那样会降低计算速度。一般的工作流程是，首先为了定义所有的运算，先建立一个TensorFlow图表。在这个过程中没有计算，我们只是进行设置操作。之后，我们才针对输入数据运行计算操作并记录结果。让我们开始定义我们的图表。首先通过创建占位符来描述TensorFlow输入数据的形式。占位符不包括任何实际数据，它们只是定义了数据的类型和形状。在我们的模型中，我们首先为图像数据定义了占位符，它们包括浮点数据（tf.float32）。shape参数定义了输入数据的大小。我们将同时输入多幅图像（稍后我们将谈到这些处理），但是我们希望可以随时改变实际输入图像

2017-08-01

602

作者丨李琳琳，赵世奇文章来源丨中国中文信息学会青年工作委员会注：本文的第一部分主要内容基于“Review of spoken dialogue systems”（López-Cózar et al., 2015）；第二部分翻译自英文原文“POMDP-based statistical spokendialog systems: A review”（Yong et al., 2013）。 1 引言本文第一部分对对话系统的领域研究现状做一个领域综述，第二部分我们详细介绍一下当今对话领域的一个热门课题：基于 POMDP 的统计对话管理系统。首先，我们对对话系统涉及的五种主要技术做一个综合介绍；然后，我们简要讨论一下对话系统的发展历史及其在健康等领域的应用实例。由于对话系统的一个核心组成部分是用户，我们还会简单讨论一下用户建模及其类型；接下来我们讨论一下对话系统的研究趋势，包括语音识别、多模交互、以及对话管理系统的主流研发技术。在第二部分，我们集中介绍基于统计的 POMDP 对话系统所涉及的思想及具体建模方法。 2 对话系统概述随着人机交互技术的进步，类似“环境智能（Ambient I...

2017-08-01

543

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。