每日一博 | 一篇文章看懂自然语言处理
一、背景 自然语言处理就是要让计算机理解人类的语言，至于到目前为止，计算机是否真的理解的人类的语言，这是一个未知之数，我的理解是目前为止并没有懂得人类语言，只是查表给出一个最大概率的回应而已。那么自然语言处理（NLP）包括哪些领域的东西呢？文本分类（如：垃圾邮件分类、情感分析）、机器翻译、摘要、文法分析、分词、词性标注、实体识别(NER)、语音识别等等，都是NLP要解的问题。那么这些解了这些问题，计算机是否真的懂得人类语言的含义，现在还未知，本片文章不过多的展开讨论。语言的单位是词，那么计算机是如何来表示词的，用什么技术来表示一个词，就可以让计算机理解词的含义呢？本篇博客将进行详细的讨论，从bool模型，到向量空间模型、到各种word embedding（word2vec、elmo、GPT、BERT） 二、原始时代 在Deeplearning之前，表示一个词，并没有一个约定俗成的办法，如何表示，取决于想解决的任务。 1、Bool模型 下面有两句话，求文本相似度。 我喜欢张国荣 你喜欢刘德华 那么，布尔模型比较简单粗暴，出现了词所在维度为1，没出现的所在维度为0，如下...
