基于深度学习的中文分词 | 实录·PhD Talk #5-低调大师

基于深度学习的中文分词 | 实录·PhD Talk #5

2017-07-31 818

Q

请问老师，切分文本中的数学公式没有标注样本怎么破？

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

陈新驰

可以人工标注一些，或者先用匹配的方法把一些模式很强的公式分出来。

Q

看起来神经网络的分词，较少考虑了时间性能，但是作为 NLP 的基础模块如果做工业产品这个时间代价会比较突出，博士怎么看这个问题？

陈新驰

神经网络的话一般来说只是训练的时候比较慢，因为它的过程会比较长一点，那么它在 test 的时候其实效率和速度还是可以的，再加上我们用 GPU 的话可以快速的矩阵运算，所以它不会在 test 的时候输于传统的方法。

Q

字标注的也有缺陷，有些分词是基于词的角度，还有一些联合模型，陈博士能发表下您的看法吗？谢谢！

陈新驰

是的，各有优缺点吧。我们做的以基于字的为主，基于词的方法鲜有使用。

Q

不管是传统方法还是 DL 的中文分词的效果已经相当好了，这个方向未来会有什么进一步发展变化吗？

陈新驰

目前在 Benchmarks 上的结果是很好了，但是换一个 Domain 就下去了，OOV 也是一个很大的问题，还有就是分词的粒度问题，能不能去更好地定义分词问题。

Q

分词实践时候，有一个观察。不管是 CRF/struct perceptron/DNN 的方法，如果是在标准语料上训练的模型毕竟还是较小的模型，去切分其他 domain 语料（比如搜索引擎的 query，或者微博），效果都不太理想。特别多特征和 embedding 都会 oov；针对这个问题有什么好的解决方法吗？

陈新驰

这是一个很好的问题，我们也在寻求更好的解决方法。业界的方法往往比较暴力。我们现在一般都是关注在模型本身，往往看在 benchmark 上的结果。

Q

在特定领域中往往没有标注语料，是不是神经分词方法就不太可行了？

陈新驰

如果没有标注语料，监督的方法都会有问题。要试试无监督的方法等。

Q

请问您有没有试着在神经网络中结合之前的特征工程或者其它先验知识来提高分词准确率呢？

陈新驰

这是一个很常用的方法，我记得 Meishan Zhang 在 16ACL 论文中就用过。

Q

中文自然语言处理深度学习，有 Python 示例代码嘛？

陈新驰

有的，我们后续会把我们的分词代码放到 FudanNLP 官方的 Github 上。

来源：paperweekly

原文链接

微信关注我们

原文链接：https://yq.aliyun.com/articles/175262

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

李志飞：想在中国复制 Echo 的成功，肯定都不靠谱

雷锋网(公众号：雷锋网)按：李志飞明白，智能音箱背后有一个庞大的产业，中文生态、内容、服务、对接，渠道等等，但他并不认为现在就要考虑这些，所以当别人认为这最终是一场巨头之争时，他说他能给出一百个理由证明巨头做不过他们。这是雷锋网关于“智能音箱系列”的第六篇报道，来自出门问问 CEO 李志飞自述，雷锋网整理。 1 2010 年，我还在美国的时候，亚马逊招了很多做语音识别的人。我师妹，还有跟我同一个实验室的博士都过去了。当时我就特别困惑，心想，这家公司有毛病啊，招这么多做语音识别的人干嘛。在美国搞研发不像在中国，中国很多人可以带代码上岗，带数据上岗。一个人以前在百度做语音识别，然后另一家大公司出两倍价格把他挖过去，顺便也就把他以前做的东西带过去了，一两个月就能出产品，特别“神奇”。美国不可能这么搞，第一是风险太大，第二，大家还是有节操，

2017-07-31

700

人类简史作者前不久的时候表示：算法胜利，自由意志将终结。高科技“大师”和硅谷“先知”正在创造一个全新的教条，让算法和大数据的权力合理化。这种新颖的教条可以称为“Dataism（数据主义）”。在数据主义的极端形式下，数据主义世界观的支持者将整个宇宙看作是一个数据流，认为生物几乎等同于生化算法，相信人类的宇宙使命是创建一个包罗万象的数据处理系统，然后融入其中。我们正在变成一个巨大的系统中的微小芯片。作为牛津大学历史学博士，青年怪才，全球瞩目的新锐历史学家。很多人听了他这番骇人耸闻的言论后，都想一巴掌甩过去——这厮为什么这么狂? 但是，人家学历内么高，崇拜者内么多，内功内么深，我们这群小屁民的质疑拍不响。不过好在一阵唏嘘之后，终于有人敢出来讲真话了，昨天经济学人评未来简史——一部肤浅、华而不实的作品，这听起来特么像正常人讲的话！于是，关于

2017-07-31

700

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。