vicword 1.4 发布,PHP 中文分词库
VicWord 一个纯php的分词
主要更新:
1. 添加默认词库路径
2. 词库不存在返回false,改为抛出异常。
码云地址: https://gitee.com/jitog/phpfenci
github: https://github.com/lizhichao/VicWord
分词说明
含有3种切分方法
getWord 长度优先切分 。最快
getShortWord 细粒度切分。比最快慢一点点
getAutoWord 自动切分 。效果最好
三种分词结果对比
$fc = new VicWord('igb'); $arr = $fc->getWord('北京大学生喝进口红酒,在北京大学生活区喝进口红酒'); //北京大学|生喝|进口|红酒|,|在|北京大学|生活区|喝|进口|红酒 //$arr 是一个数组 每个单元的结构[词语,词语位置,词性,这个词语是否包含在词典中] 这里只值列出了词语 $arr = $fc->getShortWord('北京大学生喝进口红酒,在北京大学生活区喝进口红酒'); //北京|大学|生喝|进口|红酒|,|在|北京|大学|生活|区喝|进口|红酒 $arr = $fc->getAutoWord('北京大学生喝进口红酒,在北京大学生活区喝进口红酒'); //北京|大学生|喝|进口|红酒|,|在|北京大学|生活区|喝|进口|红酒 //对比 //qq的分词 http://nlp.qq.com/semantic.cgi#page2 //百度的分词 http://ai.baidu.com/tech/nlp/lexical
分词速度
机器阿里云 Intel(R) Xeon(R) Platinum 8163 CPU @ 2.50GHz
getWord 每秒140w字
getShortWord 每秒138w字
getAutoWord 每秒40w字
测试文本在百度百科拷贝的一段5000字的文本
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Tekton 流水线的第一个官方 Beta 版本
这是 Tekton 流水线 的第一个官方 Beta 版本。 如果你已经在使用上一个 release 候选版本,那么,自 RC4 之后并没有代码的变更。唯一需要注意的是,在你的集群上部署最新的 Tekton 时,会出现一个带有标签为v0.11.0的控制器(controller),而不是v0.11.0-rc4。 一行命令安装: kubectl apply -f https://storage.googleapis.com/tekton-releases/pipeline/previous/v0.11.0/release.yaml Docs @ v0.11.0 Examples @ v0.11.0 升级公告 🚨Tekton 流水线对 Kubernetes 最低版本的要求为 1.15 🚨如果你要把一个老版本的 Tekton 流水线升级的话,在部署 v0.11.0 之前,需要删除已有的 tekton-pipeline deployments 🚨多次提交相同的 v1alpha1 Tasks 报错时,请使用 kubectl replace 而不是 kubectl apply 废弃公告 🚨Pi...
- 下一篇
smart-pay-plus 第一个里程碑版本 Beta1 发布
smart-pay-plus 的第一个里程碑版本发布了,新版本带来了以下新特性和关键改进: 技术选型 核心框架:Spring Boot 2.x 安全框架:Apache Shiro 1.4 持久层框架:MyBatis 3.x 数据库连接池:Druid 1.x 系统功能 用户管理:用户是系统操作者,该功能主要完成系统用户配置。 部门管理:配置系统组织机构(公司、部门、小组),树结构展现支持数据权限。 岗位管理:配置系统用户所属担任职务。 菜单管理:配置系统菜单,操作权限,按钮权限标识等。 角色管理:角色菜单权限分配、设置角色按机构进行数据范围权限划分。 字典管理:对系统中经常使用的一些较为固定的数据进行维护。 参数管理:对系统动态配置常用参数。 通知公告:系统通知公告信息发布维护。 操作日志:系统正常操作日志记录和查询;系统异常信息日志记录和查询。 登录日志:系统登录日志记录查询包含登录异常。 在线用户:当前系统中活跃用户状态监控。 定时任务:在线(添加、修改、删除)任务调度包含执行结果日志。 服务监控:监视当前系统CPU、内存、磁盘、堆栈等相关信息。 商户信息:配置支付商户基本信息。 渠...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- MySQL8.0.19开启GTID主从同步CentOS8
- Mario游戏-低调大师作品
- CentOS关闭SELinux安全模块
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Red5直播服务器,属于Java语言的直播服务器
- CentOS8编译安装MySQL8.0.19
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池