自然语言处理扫盲·第一天——自然语言处理的背景、应用、推荐资料-低调大师

自然语言处理扫盲·第一天——自然语言处理的背景、应用、推荐资料

2017-12-03 723

自然语言处理在很多APP中都有实际应用的场景，比如在电商软件中，客服问答系统、评论情感分析、带有语义识别的搜索、商品自动分类、用户画像等等。那么本篇作为自然语言处理浅学的第一篇，就着重来讲一下背景知识。

背景知识

自然语言处理，英文是natural language process, NLP，说白了就是利用计算机去对文本进行分析的加工。

由于自然语言处理是一门交叉的学科，因此学习它的话，需要了解很多其他学科的知识。比如：

概率论：需要了解概率、条件概率、贝叶斯法则；二项分布、期望、方差；最大似然估计、梯度下降等等
统计学：建模、数据稀疏问题、回退方法等
机器学习：分类、感知器、支持向量机
语言学：构词、词类、句法、语义；语料库和知识库等等

因此可以看到，想要了解自然语言处理，还是需要浓厚的背景基础的。

应用场景

机器翻译

这个是自然语言处理最为人知的场景，也是现在没有什么明确商业化的场景。一般都是拿这种机器翻译来作为某个应用的组成部分，比入跨语言的搜索引流等等。

国内外对于机器翻译都有比较成熟的产品，比如百度翻译、有道翻译、Google 翻译等等。

机器翻译由于涉及到语义分析、上下文环境等面临很多挑战。

体验频道：

百度在线翻译：http://fanyi.baidu.com/?aldtype=16047#auto/zh
有道在线翻译：http://fanyi.youdao.com/

情感分析

情感分析在一些评论机制的app中比较有用，比如某酒店网站，下面会有居住过的客人的评价，如果评论有几千条，满满的都是脏乱差，那谁还想住呢！

所以可以通过情感分析，分析用户评论是积极的还是消极的，根据一定的排序规则和显示比例，在评论区显示。

同样这个场景也适用于电商网站的商品评价。

智能问答

问答系统在一些电商网站也很有实际价值，比如充当客服角色。有很多基本的问题，其实并不需要真的联系人工客服来解决。通过这种智能的问答系统，就可以排除掉大量的用户问题，比如商品的质量投诉啊、商品的基本信息查询啊之类的。

这样可以省去大量的人工成本。

体验频道：

图灵机器人：http://www.tuling123.com/experience/exp_virtual_robot.jhtml?nav=exp
京东客服jimi：http://jimi1.jd.com/

信息提取

在很多搜索引擎的公司，都会采集各种数据，然后进行信息的提取分析。比如新闻的自动分类，就需要针对文本提取关键信息，然后应用一些tf-idf的算法，进行主要的主题分析，从而进行自动的分类。

语音输入

说到这个就不得不提科大讯飞了，前一阵新闻推广了讯飞的翻译器——他能根据的中文同声传译翻译成英文，也就是说习大大以后再也不需要带着一名翻译官出访其他国家了（话说，这跟我们有什么关系），以后可以去国外爽歪歪的旅游了（再也不用点餐的时候this this this ok了，咱们直接点宫保鸡丁、麻婆豆腐）。

体验频道：

翻译器视频：http://www.shidi.org/sf_DEB72250E26D4F96A9CB2857439BE6ED_277_xhat.html

舆论分析

说到这个舆论分析，最著名的就是奥巴马的总统竞选了。比如通过数据分析筹集资金，改变广告的投放策略，制作有效的拉票推荐等等。

参考：http://tech.qq.com/a/20121108/000182.htm

这个如果是那些明星的公关工作室，应该会很有用吧。比如最近《那年花开月正圆》挺火，孙俪成了舆论焦点，这个时候相关的明星发一些贴边的新闻，就能炒作一下！

语言生成（新闻、篮球解说、文本摘要）

再语言生成方面目前也有很多的应用场景，比如体育类节目的ai解说：

http://www.techweb.com.cn/it/2016-08-17/2376291_4.shtml

由于这个在电商领域应用的方向比较少，因此就不太关注了。

知识图谱（略）

知识图谱不知道啥时候突然就火了，也许是因为它能够描述复杂的关联关系。看到知识图谱的兴起，我还是有一些兴奋的，因为再读研期间搞的就是偏复杂网络的方向。复杂网络是一种复杂的图结构，图的点与线都有复杂的描述关系。在知识图谱中也是如此，不过知识图谱是面向业务领域的，比如百度描述明星关系的案例。

http://tupu.baidu.com/xiaoyuan/

有了这种知识图谱的基础，随便搜索黄晓明的老婆是谁？就很容易回答出来了。

那么再电商领域，也许可以根据商品的关系或者产地、供应商等建立知识图谱，然后进行捆绑销售、促销活动、精准营销等活动，带动商品的曝光和销量。

参考

1 百度在NLP领域都做了什么？https://www.leiphone.com/news/201702/LDdGVnuiyP9HiPXa.html
2 机器翻译原理：https://www.zhihu.com/question/24588198

本文转自博客园xingoo的博客，原文链接：自然语言处理扫盲·第一天——自然语言处理的背景、应用、推荐资料，如需转载请自行联系原博主。

微信关注我们

原文链接：https://yq.aliyun.com/articles/327449

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

一文读懂机器学习，大数据/自然语言处理/算法全有了……

引论在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便全然不了解机器学习的人也能了解机器学习。而且上手相关的实践。这篇文档也算是 EasyPR开发的番外篇。从这里開始。必须对机器学习了解才干进一步介绍EasyPR的内核。当然，本文也面对一般读者。不会对阅读有相关的前提要求。在进入正题前。我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？我并不直接回答这个问题前。相反，我想请大家看两张图下图是图一：图1 机器学习界的执牛耳者与互联网界的大鳄的联姻这幅图上上的三人是当今机器学习界的执牛耳者。中间的是Geoffrey Hinton, 加拿大多伦多大学的教授。如今被聘为“Google大脑”的负责人。右边的是Yann LeCun, 纽约大学教授，如今是Facebook人工智能实验室的主任。而左边的大家都非常熟悉，Andrew Ng。中文名吴恩达，斯坦福大学副教授，如今也是“百度大脑”的负责人与百度首席科学家。这三位都是眼下业界炙手可热的大牛，被互联网界大鳄求贤若渴的聘请，足见他们的重要性。而他们的研究方向，则全部都是机器学...

2017-12-04

618

[ 自然语言处理 ]SQLNet: Generating Structured Queries From Natural Language Without Reinforcement Learning@guotong1988 推荐Seq2Seq Text2SQL，根据自然语言生成结构化 SQL 语句。论文链接http://www.paperweekly.site/papers/1273代码链接https://github.com/xxj96/SQLNet Dynamic Evaluation of Neural Sequence Models@utopiar 推荐Recurrent Neural Networks 本文提出使用动态评估来改进神经序列模型的性能。模型通过基于梯度下降的机制适应最近的历史，将以更高概率分配给重新出现的连续模式。动态评估将 Penn Treebank 和 WikiText-2 数据集上的 perplexities 分别提高到 51.1 和 44.3。论文链接http://www.paperweekly.site/papers/1279代码链接https://...

2017-12-05

580

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。