热门中文分词系统调查报告-低调大师

常见的分词系统简介

ICTCLAS

简介

ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)，又称NLPIR，是中国科学院计算技术研究所研制的汉语分词系统。

网址：http://ictclas.nlpir.org/

主要功能包括：

中文分词；
词性标注；
命名实体识别；
用户词典功能；

支持GBK编码、UTF8编码、BIG5编码；
支持Windows,Linux,Android等操作系统；
支持Java/C++/C#/C等开发。

在线演示

中文分词

实体抽取

词频统计

MMSEG4J

**mmseg4j core ** 使用 Chih-Hao Tsai 的 MMSeg 算法实现的中文分词器。

实现了 **Lucene **的 analyzer 和 **Solr **的 TokenizerFactory 以方便在Lucene和Solr中使用。

MMSeg 算法有两种分词方法：Simple和Complex，都是基于正向最大匹配。Complex 加了四个规则过滤。

官方说：词语的正确识别率达到了 98.41%。mmseg4j 已经实现了这两种分词算法。

Lucene简介

*Lucene是一个非常优秀的开源的全文搜索引擎; 我们可以在它的上面开发出各种全文搜索的应用来。Lucene在国外有很高的知名度; 现在已经是Apache的顶级项目 *

Apache Lucene官网

Sorl简介

Solr is the popular, blazing-fast, open source enterprise search platform built on Apache Lucene™

Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

img_a3138fe70f4e7db843f099b493b0e36e.jpe

Solr

参考链接：
mmseg4j-core from Github
中文分词器 mmseg4j

IK Analyzer

IK Analyzer 是一个开源的，基于java语言开发的轻量级的中文分词工具包。

从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现，并且支持solr6.x版本。在2012版本中，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。

IK Analyzer 2012特性:

采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和智能分词两种切分模式；
在系统环境：Core2 i7 3.4G双核，4G内存，window 7 64位， Sun JDK 1.6_29 64位普通pc环境测试，IK2012具有160万字/秒（3000KB/S）的高速处理能力。
2012版本的智能分词模式支持简单的分词排歧义处理和数量词合并输出。
采用了多子处理器分析模式，支持：英文字母、数字、中文词汇等分词处理，兼容韩文、日文字符
优化的词典存储，更小的内存占用。支持用户词典扩展定义。特别的，在2012版本，词典支持中文，英文，数字混合词语。

LTP cloud(语言云)

语言云是哈工大和科大讯飞联合研发的云端中文自然语言处理服务平台，提供分词、词性标注、命名实体识别、依存句法分析、语义角色标注等自然语言处理服务。

在线演示

样例：他叫汤姆去拿外衣。
他点头表示同意我的意见。
我们即将以昂扬的斗志迎来新的一年。
国内专家学者40余人参加研讨会。

句子视图

篇章视图

分词

词性标注

命名实体

相关链接：
LTP Docs
讯飞开放平台

paoding（庖丁解牛分词器）

庖丁中文分词器是一个使用Java开发的，可结合到Lucene应用中的，为互联网、企业内部网使用的中文搜索引擎分词组件。Paoding填补了国内中文分词方面开源组件的空白，致力于此并希翼成为互联网网站首选的中文分词开源组件。 Paoding中文分词追求分词的高效率和用户良好体验。

Paoding's Knives 中文分词具有极高效率和高扩展性。引入隐喻，采用完全的面向对象设计，构思先进。

高效率：在PIII 1G内存个人机器上，1秒可准确分词 100万汉字。

采用基于 不限制个数 的词典文件对文章进行有效切分，使能够将对词汇分类定义。

能够对未知的词汇进行合理解析
参考链接：
中文分词库 Paoding

参考链接：
搜索引擎11 款开放中文分词引擎大比拼
 中文分词工具测评

微信关注我们

原文链接：https://yq.aliyun.com/articles/656573

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

机器学习是如何改善企业生产力的？（内附机器智能版图）

如果说有一个词是企业希望跟自己沾边的话，那就是“生产力”。这个指标影响了太多企业要衡量的其他东西——包括成功、效率、利润等等。而最近，人工智能（AI）被吹捧成了提高生产力的新手段，因为它可以用不知疲倦的机器来取代昂贵的人工。无人驾驶卡车就是最近受到媒体关注的一个例子，如果这种车普及，将会取代几百万卡车司机。但AI一直以来都受到了很多不应得的关注。在机器取代我们人类之前，它们将帮助我们做出明智的决定，从而让我们变得更有生产力——而自动机器将受到诅咒。这种技术的使用叫做“智能增强”，而由于其即将到来的广泛影响，所以是值得加以密切观察的。对于很多企业来说，人工智能（AI）与智能增强（IA）其实没有区别。当然，这种说法是有据可循的。IBM总裁、主席兼CEO Ginni Rometty曾经在《华尔街日报》的一篇专栏中指出，不管你把它叫AI还

2017-05-15

674

使用Amazon Echo和树莓派来自己动手做一个门铃：每个月仅花费几分钱就可以识别在你门口成千上万的访客。最近我准备在新房子里安装一个门铃时想到：为什么不让我的门铃告诉我谁在门口？我自己动手做的大部分项目的成本都高于其它同等产品，即便我已经把自己的时间价值定为每小时0美元。我想这可能是跟供应链和经济规模相关。但是我在自己制作这些东西的过程中得到了更多的乐趣。在这个项目中我攒了一个门口摄像头，它不仅比我的Dropcam便宜而且还有一些真正有用的功能，由于某些原因这些功能我在市场还没有见到过。图1 我的前门有一个门铃、一个August键盘锁和一个用于人脸识别的树莓派。图片由Lukas Biewald提供我们会攒一个成本60美元的基于树莓派的安全摄像头装置，用来拍摄照片并将其传到云端然后进行人脸识别。你还可以将数据流上传到Amazon

2017-05-16

572

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。