Elasticsearch的索引模块（正排索引、倒排索引、索引分析模块Analyzer、索引和搜索、停用词、中文分词器）-低调大师

Elasticsearch的索引模块（正排索引、倒排索引、索引分析模块Analyzer、索引和搜索、停用词、中文分词器）

2017-11-07 512

正向索引的结构如下：

“文档1”的ID > 单词1：出现次数，出现位置列表；单词2：出现次数，出现位置列表；…………。

“文档2”的ID > 此文档出现的关键词列表。

　　一般是通过key，去找value。

当用户在主页上搜索关键词“华为手机”时，假设只存在正向索引（forward index），那么就需要扫描索引库中的所有文档，找出所有包含关键词“华为手机”的文档，再根据打分模型进行打分，排出名次后呈现给用户。因为互联网上收录在搜索引擎中的文档的数目是个天文数字，这样的索引结构根本无法满足实时返回排名结果的要求。

所以，搜索引擎会将正向索引重新构建为倒排索引，即把文件ID对应到关键词的映射转换为关键词到文件ID的映射，每个关键词都对应着一系列的文件，这些文件中都出现这个关键词。

得到倒排索引的结构如下：

“关键词1”：“文档1”的ID，“文档2”的ID，…………。

“关键词2”：带有此关键词的文档ID列表。

　　从词的关键字，去找文档。

　　官网

https://www.elastic.co/guide/en/elasticsearch/reference/5.x/analysis.html

　　官网，提供了很多很多。大家自行去看！

索引分析模块Analyzer

　　分解器Tokenizer

　　词元过滤器token filters

　　经过 Tokenizer

　　大家，有兴趣，可以看看，英文停用词

http://www.ranks.nl/stopwords

　　　　大家，有兴趣，可以看看，中文停用词

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/7127495.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/365698

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hbase之python利用thrift操作hbase数据和shell操作

前沿：以前都是用mongodb的，但是量大了，mongodb显得不那么靠谱，改成hbase撑起一个量级。 HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型。它存储的是松散型数据。 HBase提供了丰富的访问接口。 HBase ShellJava clietn APIJython、Groovy DSL、ScalaRESTThrift（Ruby、Python、Perl、C++…）MapReduceHive/Pig hbase(main):001:0> #创建表 hbase(main):002:0* create 'blog','info','content' 0 row(s) in 2.0290 seconds #查看表 hbase(main):003:0> list TABLE blog ...

2017-11-08

538

昨天在关闭 Hbase的时候遇到了一个问题，输入 $HBASE_HOME/bin/stop-hbase.sh后，迟迟无法关闭集群中的 hbase进程， tail -f hbase的日志，发现类似如下错误： org.apache.hadoop.hbase.master.ServerManager: Waiting on regionserver(s) to go down dn1。最后只能手动 Kill掉整个集群内的 hbase进程。查看 hbase配置文件的 regionservers，发现节点名称全是小写的，而我最初在设定机器名时使用的是大写，把机器名从小写改成大写问题就解决了！ ssh或 shell脚本对机器名并不敏感，一直这样使用，没出过什么问题，所以我在修改 hadoop集群的配置文件时也没在在意机器名的大小写... 本文转自 li_qinshan 51CTO博客，原文链接:http://blog.51cto.com/share/665661

2017-11-08

510

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。