hanlp for elasticsearch(基于hanlp的es分词插件)
摘要:elasticsearch是使用比较广泛的分布式搜索引擎,es提供了一个的单字分词工具,还有一个分词插件ik使用比较广泛,hanlp是一个自然语言处理包,能更好的根据上下文的语义,人名,地名,组织机构名等来切分词
elasticsearch-analysis-hanlp插件地址:https://github.com/pengcong90/elasticsearch-analysis-hanlp
Elasticsearch
默认分词
输出:
IK分词
输出:
hanlp分词
输出:
ik分词没有根据句子的含义来分词,hanlp能根据语义正确的切分出词
安装步骤:
1、进入https://github.com/pengcong90/elasticsearch-analysis-hanlp,下载插件并解压到es的plugins目录下,修改analysis-hanlp目录下的hanlp.properties文件,修改root的属性,值为analysis-hanlp下的data
目录的地址
2、修改es config目录下的jvm.options文件,最后一行添加
-Djava.security.policy=../plugins/analysis-hanlp/plugin-security.policy
重启es
GET /_analyze?analyzer=hanlp-index&pretty=true
{
“text”:”张柏芝士蛋糕店”
}
测试是否安装成功
analyzer有hanlp-index(索引模式)和hanlp-smart(智能模式)
自定义词典
修改plugins/analysis-hanlp/data/dictionary/custom下的 我的词典.txt文件
格式遵从[单词] [词性A] [A的频次]
修改完后删除同目录下的CustomDictionary.txt.bin文件
重启es服务
文章来源于pengcong90的博客
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
11月2日科技联播:销量不及预期苹果市值跌破万亿美元;腾讯表示封杀抖音因微信规则
财报亮眼但销量稍逊,苹果跌破万亿市值,库克称中国销售成绩表现优异;腾讯表示封杀抖音因微信有规则;谷歌CEO回应全球罢工:我们也会犯错,但将做的更好;苹果新服务上线,iPhone 5等“古董”设备也能获得维修,一起来看今天的科技快讯: 苹果市值跌破万亿美元,将不再公布硬件售卖数据 苹果公司发布了截至9月29日的2018财年第四季度报告,季度营收达到629亿美元,同比增长20%;净利141.25亿美元,同比增长32%。,但其在第四财季卖出的4690万部iPhone,低于分析师预期的4750万部,受此影响市值跌破1万亿美元,苹果公司决定从2018年12月的季度起将不再提供iPhone、iPad和Mac电脑的销量数据。 腾讯回应微信封杀抖音:有政策法规原因,也要看微信的规则 在南京举行的腾讯开放合作伙伴大会上,有媒体提问,微视可以分享到微信朋友圈
- 下一篇
大数据计算之天龙八部
“飞雪连天射白鹿,笑书神侠倚碧鸳……”金先生其文也大,其人也真,15部经典作品流传于世。其中,《天龙八部》以其历史背景之广泛、武侠战役之庞大、想象力之丰富当属“金书”之最。“天龙八部”名出佛经,寓意大千世界芸芸众生,皆笼罩于佛法。全书主旨“无人不冤,有情皆孽”。八部者,一天,二龙、三夜叉、四乾达婆、五阿修罗,六迦喽罗,七归那罗,八摩听罗迦。“天”“龙”为首,是为“天龙八部”。 作为大数据计算的超级引擎,MaxCompute 以其超大规模的计算存储能力,超强的数据安全能力以及完成的企业服务配套,成为企业大数据分析挖掘的不二选择。“无企业不数据,有数据皆计算”,在大数据计算服务 MaxCompute中,八部者,一 大计算 二 大存储 三 强安全 四 免运维 五 高性价 六 开箱即用 七 完整服务 八 生态兼容 如果你需要系统的,持续的了解 MaxCom
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8编译安装MySQL8.0.19
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Docker安装Oracle12C,快速搭建Oracle学习环境