基于 IKAnalyzer 实现 Elasticsearch 中文分词插件
虽然Elasticsearch有原生的中文插件elasticsearch-analysis-smartcn（实际上是lucence的org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer），但它似乎没能满足我的要求。比如我希望对文档中的“林夕”不分词（就是不要把它当成“林”，“夕”两个字索引），smartcn没法做到。
然后我找到了IK，以及elasticsearch-analysis-ik。elasticsearch-analysis-ik已经有些时候没人维护了。而且它使用的httpclient来获取分词词典。总之各种纠结。
最后，我决定还是自己写一个吧。
原来IKAnalyzer的目录结构
├── IKAnalyzer.cfg.xml
├── ext.dic
├── org
│ └── wltea
│ └── analyzer
│ ├── cfg
│ │ ├── Configuration.java
│ │ └── DefaultConfig.java
│ ├── core
│ │ ├── AnalyzeContext.java
│ │ ├── CJKSegmenter.java
│ │ ├── CN_QuantifierSegmenter.java
│ │ ├── CharacterUtil.java
│ │ ├── IKArbitrator.java
│ │ ├── IKSegmenter.java
│ │ ├── ISegmenter.java
│ │ ├── LetterSegmenter.java
│ │ ├── Lexeme.java
│ │ ├── LexemePath.java
│ │ └── QuickSortSet.java
│ ├── dic
│ │ ├── DictSegment.java
│ │ ├── Dictionary.java
│ │ ├── Hit.java
│ │ ├── main2012.dic
│ │ └── quantifier.dic
│ ├── lucene
│ │ ├── IKAnalyzer.java
│ │ └── IKTokenizer.java
│ ├── query
│ │ ├── IKQueryExpressionParser.java
│ │ └── SWMCQueryBuilder.java
│ ├── sample
│ │ └── IKAnalyzerDemo.java
│ └── solr
│ └── IKTokenizerFactory.java
└── stopword.dic
加入构建脚本
我发现没有使用任何的构建工具。我不是说不使用构建工具就是不好，而是我已经习惯了使用构建工具，不用就没有安全感。所以，我第一步是给它加构建脚本。
同时，我把原来的IKAnalyzerDemo.java改成两个测试类。最后运行测试，确保我的修改没有破坏原有逻辑
└── src
├── main
│ ├── java
│ │ └── ......
│ └── resources
│ ├── IKAnalyzer.cfg.xml
│ ├── main2012.dic
│ ├── quantifier.dic
│ └── stopword.dic
└── test
├── java
│ └── org
│ └── wltea
│ └── analyzer
│ ├── IKAnalzyerTest.java
│ └── LuceneIndexAndSearchTest.java
└── resources
├── IKAnalyzer.cfg.xml
├── main2012.dic
├── quantifier.dic
└── stopword.dic
build.gradle
apply plugin: 'java'
//apply plugin: 'checkstyle'
apply plugin: 'idea'
sourceCompatibility = 1.7
version = '1.0'
repositories {
mavenCentral()
}
dependencies {
compile(
'org.apache.lucene:lucene-core:4.10.4',
'org.apache.lucene:lucene-queryparser:4.10.4',
'org.apache.lucene:lucene-analyzers-common:4.10.4'
)
testCompile group: 'junit', name: 'junit', version: '4.11'
}
将项目拆成core和lucence两个子项目
我发现IK实际上由两部分组成：真正的分词逻辑和扩展Lucence分析器的逻辑。可以想象得到
我们需要支持不同版本的Lucence
我们可以把IK的分词逻辑应用到其它的搜索引擎上
基于这两点，我决定把原有的项目分成两个子项目。并加上测试：
├── build.gradle
├── ik-analyzer-core
│ ├── build.gradle
│ └── src
│ ├── main
│ │ ├── java
│ │ │ └── .....
│ │ └── resources
│ └── test
├── ik-analyzer-lucence
│ ├── build.gradle
│ └── src
│ ├── main
│ │ └── java
│ │ └── org
│ │ └── wltea
│ │ └── analyzer
│ │ ├── lucene
│ │ │ ├── IKAnalyzer.java
│ │ │ └── IKTokenizer.java
│ │ └── query
│ │ ├── IKQueryExpressionParser.java
│ │ └── SWMCQueryBuilder.java
│ └── test
│ ├── java
│ │ └── .....
└── settings.gradle
创建Elasticsearch插件
一开始，我还想让Elasticsearch插件只依赖core子项目就好了。谁知道要实现Elasticsearch的插件还需要依赖Lucence。所以Elasticsearch插件需要依赖lucence子项目。
实现的过程发现Elasticsearch的版本之间有些不同，你可以对比下： AnalysisIkPlugin.java和IKAnalyzerPlugin.java
目前，Elasticsearch文档中，关于它的插件的概念和原理说的都非常少！
├── build.gradle
├── ik-analyzer-core
│ ├── ......
├── ik-analyzer-elasticseaarch-plugin
│ ├── build.gradle
│ └── src
│ └── main
│ ├── java
│ │ └── org
│ │ └── elasticsearch
│ │ └── plugin
│ │ └── ikanalyzer
│ │ ├── IKAnalyzerComponent.java
│ │ ├── IKAnalyzerModule.java
│ │ └── IKAnalyzerPlugin.java
│ └── resources
│ └── es-plugin.properties
├── ik-analyzer-lucence
│ ├── .....
└── settings.gradle
## es-plugin.properties
plugin=org.elasticsearch.plugin.ikanalyzer.IKAnalyzerPlugin
重构Core子项目
目前IK还有一个问题没有解决：灵活扩展现有的词典。比如我希望将“林夕”加入词典，从而使其不分被索引成“林”，“夕”。这样的应用场景非常多的。以至于elasticsearch-analysis-ik自己实现从远程读取词典的功能：Dictionary.java:338
但是我觉得这样还是够好。比如，我期望从本地的sqlite中读取词典呢？所以，我将IK原有的关于配置的读取的逻辑抽取出来：
/**
* 加载主词典及扩展词典
*/
private void loadMainDict(){
//建立一个主词典实例
_MainDict = new DictSegment((char)0);
//读取主词典文件
InputStream is = this.getClass().getClassLoader().getResourceAsStream(cfg.getMainDictionary());
if(is == null){
throw new RuntimeException("Main Dictionary not found!!!");
}
try {
BufferedReader br = new BufferedReader(new InputStreamReader(is , "UTF-8"), 512);
String theWord = null;
do {
theWord = br.readLine();
if (theWord != null && !"".equals(theWord.trim())) {
_MainDict.fillSegment(theWord.trim().toLowerCase().toCharArray());
}
} while (theWord != null);
} catch (IOException ioe) {
System.err.println("Main Dictionary loading exception.");
ioe.printStackTrace();
}finally{
try {
if(is != null){
is.close();
is = null;
}
} catch (IOException e) {
e.printStackTrace();
}
}
//加载扩展词典
this.loadExtDict();
}
其中cfg.getMainDictionary()，cfg是一个接口Configuration的实例，但是Dictionary假设getMainDictionary返回的一个文件的路径。所以，我认为这个接口的设计是没有意义的。
我们为什么不让cfg.getMainDictionary()直接返回Dictionary要求的词典内容呢，像这样：
/**
* 加载主词典及扩展词典
*/
private void loadMainDict() {
//建立一个主词典实例
_MainDict = new DictSegment((char) 0);
for (char[] segment : cfg.loadMainDictionary()) {
_MainDict.fillSegment(segment);
}
}
这样，我们就可以实现像FileConfiguration，HttpConfiguraion，SqliteConfiguration,RedisConfiguration等任何你期望的扩展词典方式了。
但是，目前，我还没有实现任何的一种 :P
小结
实际上的重构和本文写的相差无几。还算比较顺利，要感谢原作者。这里，我还有一个问题没想通，就是如何打包才能让大家都方便用，比如方便在Elasticsearch中安装。希望大家能多给建议。
文章转载自 开源中国社区 [http://www.oschina.net]
