自然语言处理入门基础之hanlp详解
自然语言处理定义:
自然语言处理是一门计算机科学、人工智能以及语言学的交叉学科。虽然语言只是人工智能的一部分(人工智能还包括计算机视觉等),但它是非常独特的一部分。这个星球上有许多生物拥有超过人类的视觉系统,但只有人类才拥有这么高级的语言。
自然语言处理的目标是让计算机处理或说“理解”自然语言,以完成有意义的任务,比如订机票购物或QA等。完全理解和表达语言是极其困难的,完美的语言理解等效于实现人工智能。
自然语言处理涉及的几个层次:
自然语言处理的几个层次
作为输入一共有两个来源,语音与文本。所以第一级是语音识别和OCR或分词(事实上,跳过分词虽然理所当然地不能做句法分析,但字符级也可以直接做不少应用)。接下来是形态学,援引《统计自然语言处理》中的定义:形态学(morphology):形态学(又称“词汇形态学”或“词法”)是语言学的一个分支,研究词的内部结构,包括屈折变化和构词法两个部分。由于词具有语音特征、句法特征和语义特征,形态学处于音位学、句法学和语义学的结合部位,所以形态学是每个语言学家都要关注的一门学科。
Hanlp自然语言处理开发包:
从事大数据方面工作的人对自然语言处理必然都是不陌生的,在Github上用户量最多的开源汉语自然语言处理工具是HanLP。HanLP的初始版本是在2014年初开发的,3月份的时候开始在Github上开源。2015年的时候集成在了大快搜索的DKNLP中,目前大快已经把DKNLP技术成果已经开源,并且整体装如HanLP项目,HanLP的版本已经到了V1.50。
Hanlp自然语言处理技术优势:
支持中文分词(N-最短路分词、CRF分词、索引分词、用户自定义词调、词性标注),命名实体识别(中国人民、音译人民、日本人民,地名,实体机构名识别),关键词提取,自动摘要,短语提取,拼音转换,简繁转换,文本推荐,依存句法分析(MaxEnt依存句法分析、神经网络依存句法分析)。提供Lucene查件,兼容Solr和ElasticSearch。
hanlp自然语言处理技术
Hanlp自然语言处理应用领域:
Hanlp已经被广泛应用于Lucene、Solr、ElasticSearch、hadoop、android、Resin等平台,有大量开源作者开发各种查件与拓展,并且被包装或移植到Python、C#、R、JavaScript等语言上去。
hanlp自然语言处理应用领域
文章来源于网络
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
阿里云MaxCompute 2018-10月刊
2018年10月大数据计算服务 MaxCompute 又发布哪些新功能?快来一起看看吧。 【体验优化】Python UDF开启全面公测 参考文档 优化功能MaxCompute默认支持Python UDF,无需单独申请。客户不需再单独申请Python UDF开通。 【价格调整】MaxCompute 外表功能正式收费 参考文档 价格调整内容 外表功能采用的计费标准为一次SQL计算费用=计算输入数据量xSQL复杂度xSQL价格。SQL价格是0.03元/GB/复杂度 ,复杂度系数为1。当天的所有计量信息在第二天做一次性汇总收费,并直接体现在您的账户账单中。 产品介绍通过MaxCompute SQL外表功能直接处理OSS/TableStore(OTS)数据,从而处理音频、视频、图像、气象等非结构化数据以及K-V类型的数据。 好文推荐>>>【
- 下一篇
11月2日科技联播:销量不及预期苹果市值跌破万亿美元;腾讯表示封杀抖音因微信规则
财报亮眼但销量稍逊,苹果跌破万亿市值,库克称中国销售成绩表现优异;腾讯表示封杀抖音因微信有规则;谷歌CEO回应全球罢工:我们也会犯错,但将做的更好;苹果新服务上线,iPhone 5等“古董”设备也能获得维修,一起来看今天的科技快讯: 苹果市值跌破万亿美元,将不再公布硬件售卖数据 苹果公司发布了截至9月29日的2018财年第四季度报告,季度营收达到629亿美元,同比增长20%;净利141.25亿美元,同比增长32%。,但其在第四财季卖出的4690万部iPhone,低于分析师预期的4750万部,受此影响市值跌破1万亿美元,苹果公司决定从2018年12月的季度起将不再提供iPhone、iPad和Mac电脑的销量数据。 腾讯回应微信封杀抖音:有政策法规原因,也要看微信的规则 在南京举行的腾讯开放合作伙伴大会上,有媒体提问,微视可以分享到微信朋友圈
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Hadoop3单机部署,实现最简伪集群
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS8编译安装MySQL8.0.19