最近在工作中遇到需要对大文本进行关键词查询。需要实现的效果为，当用户输入一个字或者一个词，要搜出包含这个字或者词的所有内容。就相当于MySQL的LIKE查询效果一样。
在这种场景下，第一时间想到的肯定是直接使用MySQL存储，然后进行查询就可以了，完全符合业务需求。但是经过尝试，当数据量比较大的时候，查询的速度慢得让人根本无法接受。
于是只能考虑其他方案，由于和搜索有关，于是想到了之前使用过的Solr。经过一系列折腾，最后得出最终方案如下。
schema设计的时候，需要自定义字段类型，使用solr.NGramTokenizerFactory分词器，并且将分片参数设置成1。
<fieldType name="text_ng1" class="solr.TextField" positionIncrementGap="100">
<analyzer type="index">
<tokenizer class="solr.NGramTokenizerFactory" minGramSize="1" maxGramSize="1"/>
</analyzer>
<analyzer type="query">
<tokenizer class="solr.NGramTokenizerFactory" minGramSize="1" maxGramSize="1"/>
</analyzer>
</fieldType>
- 对需要进行查询的字段设置成自定义的类型。
<field name="question_content_list" type="text_ng1" indexed="true" stored="true" required="false" multiValued="true" />
- 查询条件中需要对关键字加双引号，表示不对查询词进行分词。
/select?q=question_content_list%3A"空间"&start=0&rows=1&wt=json&indent=true
- 查询结果响应测试。
{
"responseHeader": {
"status": 0,
"QTime": 1,
"params": {
"q": "question_content_list:\"空间\"",
"indent": "true",
"start": "0",
"rows": "1",
"wt": "json"
}
},
"response": {
"numFound": 62,
"start": 0,
"docs": [
{
"question_content_list": [
"18088",
"qq空间",
"http://photo.qq.com"
],
"question_id": "9DSOPHKVYF4G",
"_version_": 1661304065051590660
}
]
}
}
