Lucene学习笔记(1)-低调大师

Lucene学习笔记(1)

2017-11-25 554

Lucene学习笔记

可以搜索文本文件，理论上可以搜索任何类型的数据。只要先把数据转化为文本，就可以对数据进行索引和搜索。

使用了反向索引的机制，维护一个词/短语的表，对于每个词和短语都有一个链表描述有哪些文档包含这个词和短语。这样用户输入查询条件的时候，搜索引擎先对输入的条件分词，分成词和短语，然后到建立好的索引上面查找，最终返回索引相关的文档。

1、首先对文档进行分词。

2、然后将分词的结果进行索引的创建。

结构化数据：数据库数据，元数据

半结构化数据：xml、html

非结构化数据：全文数据，word文档，email

全文检索：新建立索引，在进行搜索。

建立索引

1、准备文档

2、将文档传给分词组件tokenizer

a) 将文档分成一个个的单词

b) 去除标点

c) 利用停词集合，去除停词（最普通的词，没有任何意义，英文中的the，a，this等等）

d) 得到词元token

3、将词元token传给语言处理组件linguistic processor

a) 变为小写

b) 将单词缩减为词根形式，如cars到car，drove到drive，前者是缩减，后者是转变。前者给予某种算法，例如去除s，去除ing添加e等等，后者基于字典做转变就可以了。这两种方法不是互斥的，有交集，有的词汇用两种方法都可以缩减。

c) 语音处理的词称为词term

d) 只有这样处理，搜索drove和drive才能都命中。

4、将得到的词term传给索引组件idnexer去建立文档倒排列表

a) 利用得到的词term创建一个字典

b) 例如

Term document id

Student 1

Allow 1

Go 1

My 2

Friend 2

Allow 2

c) 对字典按照字母顺序排序

Term document id

Allow 1

Allow 2

Friend 2

Go 1

My 2

Student 1

d) 合并相同的词trem，形成文档倒排列表posting list

e) Document frequency文档频次，表示有多少个文档包含当前词。

f) Frequency词频次，表示一个文档中有多少个当前词。

搜索

1、用户输入查询语句。例如用户输入：lucene AND learned NOT hadoop，表明用户想要找包含lucene和learned而不包含hadoop的文档。

2、对查询语句进行语法分析，词法分析，几语言处理

a) 识别单词和关键字，lucene和learned是单词，AND和NOT是关键字

b) 形成语法树

c) 语言处理，同建立索引过程中的语言处理相同，如learned变成learn，形成经过语言处理的语法树

3、搜索索引

a) 在反向索引表中找到lucene、learn和hadoop的文档链表

b) 其次对lucene和learn的文档链表进行合并

c) 在合并的链表中去除包含hadoop的文档链表

d) 剩下的就是我们要找的文档链表

4、根据得到的文档和查询语句的相关性，对结果进行排序

a) 如何判断文档的之间的关系

b) 首先一个文档有很多词，

c) 对于文档之间的关系，不同的term的重要性不同。要判断文档的关系，首先要找出那些term对于文档是重要的。找出词term对于文档的重要性的过程称为计算词的权重term weight的过程。权重term weight的参数有两个，第一个是词term，第二个是文档document

d) 影响一个词term在文档中的重要性有两个因素：

e) Term frequency（tf）：一个词在文档中出现的次数，越多说明越重要。

f) Document frequency（df）：有多少文档包含一个词term，越多说明越不重要。

本文转自 virusswb 51CTO博客，原文链接：http://blog.51cto.com/virusswb/696784，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/444319

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Logstash+Elasticsearch+Kibana日志服务器搭建

官网https://www.elastic.co 软件版本： Logstash 2.2.0 All Plugins Elasticsearch 2.2.0 Kibana 4.4.0 说明：此环境Centos6.5 64位，单机做测试，具体配置从简。 1.Logstash安装配置解压到/usr/local/logstash-2.2.0/ Logstash配置文件: vim /usr/local/logstash-2.2.0/etc/agent.conf input{ file{ path=>"/usr/local/nginx/logs/access.log" start_position=>beginning } } output{ elasticsearch{} stdout{} } logstash启动 nohup /usr/local/logstash-2.2.0/bin/logstash -f /usr/local/logstash-2.2.0/etc/agent.conf & 2.Elasticsearch安装配置解压到/usr/local/e...

2017-11-26

650

它的位置非常清晰，直接贴图。更详细点，见本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6612671.html，如需转载请自行联系原作者

2017-11-26

629

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。