sphinx的配置和管理-低调大师

sphinx的配置和管理

2021-05-21 584

网上配置文档众多，但是对着他们的文档来做老是出问题，于是花了点时间研究了一下，写成总结，方便以后查阅。也希望学习sphinx的朋友能少走弯路。Coreseek的安装请参考：http://blog.chinaunix.net/uid-20639775-id-3261834.html。

一、sphinx的配置

1. sphinx配置文件结构介绍

Sphinx的配置文件结构如下：

Source 源名称1{     
#添加数据源，这里会设置一些连接数据库的参数比如数据库的IP、用户名、密码等
#设置sql_query、设置sql_query_pre、设置sql_query_range等后面会结合例子做详细介绍
 ……
}
Index 索引名称1{
     Source=源名称1
#设置全文索引
     ……
}
Indexer{
#设置Indexer程序配置选项，如内存限制等
……
}
Searchd{  
#设置Searchd守护进程本身的一些参数
……
}

Source 和 Index 都可以配置多个。

2. spinx配置案例详细解释

接下来就来针对一个配置案例来做详细的配置介绍：

#定义一个数据源
source search_main
{
           #定义数据库类型
    type                 = mysql
           #定义数据库的IP或者计算机名
    sql_host             = localhost
           #定义连接数据库的帐号
    sql_user             = root
           #定义链接数据库的密码
    sql_pass             = test123
           #定义数据库名称
    sql_db               = test
           #定义连接数据库后取数据之前执行的SQL语句
    sql_query_pre        = SET NAMES utf8
    sql_query_pre        = SET SESSION query_cache_type=OFF
           #创建一个sph_counter用于增量索引
    sql_query_pre        = CREATE TABLE IF NOT EXISTS sph_counter \
                                      ( counter_id INTEGER PRIMARY KEY NOT NULL,max_doc_id INTEGER NOT NULL)
           #取数据之前将表的最大id记录到sph_counter表中
    sql_query_pre        = REPLACE INTO sph_counter SELECT 1, MAX(searchid) FROM v9_search
           #定义取数据的SQL，第一列ID列必须为唯一的正整数值
    sql_query            = SELECT searchid,typeid,id,adddate,data FROM v9_search where \
                                      searchid<( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 ) \
                                        and searchid>=$start AND searchid<=$end
           # sql_attr_uint和sql_attr_timestamp用于定义用于api过滤或者排序，写多行制定多列
    sql_attr_uint        = typeid
    sql_attr_uint        = id
    sql_attr_timestamp   = adddate
           #分区查询设置
    sql_query_range      = SELECT MIN(searchid),MAX(searchid) FROM v9_search
           #分区查询的步长
    sql_range_step       = 1000
           #设置分区查询的时间间隔
    sql_ranged_throttle  = 0
           #用于CLI的调试
    sql_query_info       = SELECT * FROM v9_search WHERE searchid=$id
}
#定义一个增量的源
source search_main_delta : search_main
{
    sql_query_pre       = set names utf8
           #增量源只查询上次主索引生成后新增加的数据
#如果新增加的searchid比主索引建立时的searchid还小那么会漏掉
    sql_query           = SELECT searchid,typeid,id,adddate,data FROM v9_search where  \
                                  searchid>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 ) \
                                   and searchid>=$start AND searchid<=$end
    sql_query_range     = SELECT MIN(searchid),MAX(searchid) FROM v9_search where \
                                       searchid>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )
}
 
#定义一个index_search_main索引
index index_search_main
{
           #设置索引的源
    source            = search_main
           #设置生成的索引存放路径
    path         = /usr/local/coreseek/var/data/index_search_main
           #定义文档信息的存储模式，extern表示文档信息和文档id分开存储
    docinfo           = extern
           #设置已缓存数据的内存锁定，为0表示不锁定
    mlock             = 0
           #设置词形处理器列表，设置为none表示不使用任何词形处理器
    morphology        = none
           #定义最小索引词的长度
    min_word_len      = 1
           #设置字符集编码类型，我这里采用的utf8编码和数据库的一致
    charset_type      = zh_cn.utf-8
           #指定分词读取词典文件的位置
    charset_dictpath  = /usr/local/mmseg3/etc
           #不被搜索的词文件里表。
    stopwords       = /usr/local/coreseek/var/data/stopwords.txt
           #定义是否从输入全文数据中取出HTML标记
    html_strip       = 0
}
#定义增量索引
index index_search_main_delta : index_search_main
{
    source   = search_main_delta
    path    = /usr/local/coreseek/var/data/index_search_main_delta
}
 
#定义indexer配置选项
indexer
{
           #定义生成索引过程使用索引的限制
    mem_limit        = 512M
}
 
#定义searchd守护进程的相关选项
searchd
{
           #定义监听的IP和端口
    #listen            = 127.0.0.1
    #listen            = 172.16.88.100:3312
    listen            = 3312
    listen            = /var/run/searchd.sock
           #定义log的位置
    log                = /usr/local/coreseek/var/log/searchd.log
           #定义查询log的位置
    query_log          = /usr/local/coreseek/var/log/query.log
           #定义网络客户端请求的读超时时间
    read_timeout       = 5
           #定义子进程的最大数量
    max_children       = 300
           #设置searchd进程pid文件名
    pid_file           = /usr/local/coreseek/var/log/searchd.pid
           #定义守护进程在内存中为每个索引所保持并返回给客户端的匹配数目的最大值
    max_matches        = 100000
           #启用无缝seamless轮转，防止searchd轮转在需要预取大量数据的索引时停止响应
    #也就是说在任何时刻查询都可用，或者使用旧索引，或者使用新索引
    seamless_rotate    = 1
           #配置在启动时强制重新打开所有索引文件
    preopen_indexes    = 1
           #设置索引轮转成功以后删除以.old为扩展名的索引拷贝
    unlink_old         = 1
           # MVA更新池大小，这个参数不太明白
    mva_updates_pool   = 1M
           #最大允许的包大小
    max_packet_size    = 32M
           #最大允许的过滤器数
    max_filters        = 256
           #每个过滤器最大允许的值的个数
    max_filter_values  = 4096
}

二、sphinx的管理

1. 生成Sphinx中文分词词库(新版本的中文分词库已经生成在了/usr/local/mmseg3/etc目录下)

    cd /usr/local/mmseg3/etc
/usr/local/mmseg3/bin/mmseg -u thesaurus.txt
mv thesaurus.txt.uni uni.lib

2. 生成Sphinx中文同义词库

#同义词库是说比如你搜索深圳的时候，含有深圳湾等字的也会被搜索出来

/data/software/sphinx/coreseek-3.2.14/mmseg-3.2.14/script/build_thesaurus.py unigram.txt > thesaurus.txt
/usr/local/mmseg3/bin/mmseg -t thesaurus.txt
将thesaurus.lib放到uni.lib同一目录

3. 生成全部索引

/usr/local/coreseek/bin/indexer --config /usr/local/coreseek/etc/sphinx.conf –all

若此时 searchd 守护进程已经启动，那么需要加上 —rotate 参数：

/usr/local/coreseek/bin/indexer --config /usr/local/coreseek/etc/sphinx.conf --all --rotate

4. 启动 searchd 守护进程

/usr/local/coreseek/bin/searchd --config /usr/local/coreseek/etc/sphinx.conf

5. 生成主索引

写成shell脚本，添加到crontab任务，设置成每天凌晨1点的时候重建主索引

/usr/local/coreseek/bin/indexer --config /usr/local/coreseek/etc/sphinx.conf --rotate index_search_main

6. 生成增量索引

写成shell脚本，添加到crontab任务，设置成每10分钟运行一次

/usr/local/coreseek/bin/indexer --config /usr/local/coreseek/etc/sphinx.conf --rotate index_search_main_delta

7. 增量索引和主索引的合并

写成shell脚本，添加到计划任务，每15分钟跑一次

/usr/local/coreseek/bin/indexer --config /usr/local/coreseek/etc/sphinx.conf --merge index_search_main index_search_main_delta --rotate

8. 使用 search 命令在命令行对索引进行检索

/usr/local/coreseek/bin/search --config /usr/local/coreseek/etc/sphinx.conf  游戏

三、参考文章链接：

http://blog.chinaunix.net/uid-20639775-id-3277497.html

http://baobeituping.iteye.com/blog/870354

http://www.sphinxsearch.org/sphinx-tutorial

http://blog.s135.com/post/360/

http://youngerblue.iteye.com/blog/1513140

微信关注我们

原文链接：https://blog.51cto.com/u_11518012/2800715

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

化繁为简：奥卡云智能存储产品UniIO的巧妙设计

解决数据中心痛点智能存储正在发力现代化数据中心正经历着从硬件定义到软件定义、从独立基础架构到整合云架构、从传统存储到分布式存储的巨大演变，这一变革也给数据中心底层的基础存储设备提出了巨大挑战。传统存储由于受限于自身架构，存储空间利用率低，影响用户的拥有成本；另外传统存储过分依赖于特殊硬件，维护成本高、管理复杂、性能和可持续性不佳。为适应现代化数据中心容量、性能的要求，需要底层存储系统更加高效、更加灵活、更加简单。挑战与机遇并存，在智能化存储的浪潮中，新兴存储初创公司西安奥卡云科技有限公司推出了独具匠心的智能存储产品—UniIO。这是一款面向云计算领域的高端分布式全闪存存储系统，通过高效SCM技术、全局重删压缩、简化存储管理复杂度，为企业降本增效。从架构和用户体验看UniIO的简约设计正如UniIO的名称所传达的含义：“独特的”、“统一的”“通用的”，这是一款通用存储，同时它也是一个跨平台的存储。UniIO的整个研发过程采用了全新的分布式架构，由研发团队从零开始自主研发，做到所有源代码可掌控，所有研发工程师的奇思妙想都得以发挥及实现。在整个研发过程中，产生了超过20项的创新专...

2021-05-21

590

1 package com.bdqn.utils; 2 /** 3 * 数据库工具类 4 * @author JY 5 * 6 */ 7 8 import java.io.IOException; 9 import java.io.InputStream; 10 import java.sql.Connection; 11 import java.sql.DriverManager; 12 import java.sql.PreparedStatement; 13 import java.sql.ResultSet; 14 import java.sql.SQLException; 15 import java.util.Optional; 16 import java.util.Properties; 17 import java.util.function.Consumer; 18 import java.util.function.Function; 19 import java.util.function.Supplier; 20 21 22 public class DBUt...

2021-05-21

1037

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。