一、概述
1、简介
ElasticSearch是一个基于Lucene实现的开源、分布式、Restful的全文本搜索引擎；此外，它还是一个分布式实时文档存储，其中每个文档的每个field均是被索引的数据，且可被搜索；也是一个带实时分析功能的分布式搜索引擎，能够扩展至数以百计的节点实时处理PB级的数据。
应用场景：当我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快、能有一个零配置和一个完全免费的搜索模式、能够简单地使用JSON通过HTTP来索引数据、搜索服务器始终可用、一台开始并扩展到数百台，并且实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题以及可能出现的更多其它问题。
设计用途：用于分布式全文检索
技术支持：通过HTTP使用JSON进行数据索引
主要目的：解决对于搜索的众多需求
2、基本组件
索引(index)：文档容器，换句话说，索引是具有类似属性的文档的集合。类似于表。索引名必须使用小写字母；
类型(type)：类型是索引内部的逻辑分区，其意义完全取决于用户需求。一个索引内部可定义一个或多个类型。一般来说，类型就是拥有相同的域的文档的预定义。
文档(document)：文档是Lucene索引和搜索的原子单位，它包含了一个或多个域。是域的容器；基于JSON格式表示。每个域的组成部分：一个名字，一个或多个值；拥有多个值的域，通常称为多值域；
映射(mapping)：原始内容存储为文档之前需要事先进行分析，例如切词、过滤掉某些词等；映射用于定义此分析机制该如何实现；除此之外，ES还为映射提供了诸如将域中的内容排序等功能。
4、ES的集群组件
Cluster：ES的集群标识为集群名称；默认为"elasticsearch"。节点就是靠此名字来决定加入到哪个集群中。一个节点只能属性于一个集群。
Node：运行了单个ES实例的主机即为节点。用于存储数据、参与集群索引及搜索操作。节点的标识靠节点名。
Shard：将索引切割成为的物理存储组件；但每一个shard都是一个独立且完整的索引；创建索引时，ES默认将其分割为5个shard，用户也可以按需自定义，创建完成之后不可修改。
shard有两种类型：primary shard和replica。Replica用于数据冗余及查询时的负载均衡。每个主shard的副本数量可自定义，且可动态修改。
5、ES Cluster工作过程
启动时，通过多播(默认)或单播方式在9300/tcp查找同一集群中的其它节点，并与之建立通信。
集群中的所有节点会选举出一个主节点负责管理整个集群状态，以及在集群范围内决定各shards的分布方式。站在用户角度而言，每个均可接收并响应用户的各类请求。
集群有状态：green, red, yellow
6、其他
ES的默认端口：
参与集群的事务：9300/tcp
transport.tcp.port
接收请求：9200/tcp
http.port
二、安装配置ElasticSearch
1、系统环境
操作系统：一台CentOS release 6.9（主节点），两台CentOS release 6.7（其他节点）
ElasticSearch版本：elasticsearch-5.5.2.rpm
JDK版本：java-1.8.0-openjdk
注：由于ElasticSearch依赖Java环境，所以必须安装JDK。而且JDK版本必须在1.7以上。
2、安装并配置java环境
|
1
|
yum
install
java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64.rpm
|
|
1
|
vim
/etc/profile
.d
/java
.sh
|
添加:
|
1
|
export
JAVA_HOME=
/usr/bin/java
|
注：我的java在/usr/bin下,可以通过which命令查找下确切位置。
3、安装ElasticSearch
|
1
|
yum
install
elasticsearch-5.5.2.rpm
|
注:安装完成后有以下提示信息
![wKiom1mzn-jhgotTAAEPP6wZYJY728.jpg-wh_50]( "2017-09-09_160030.jpg")
简单编辑配置elasticsearch文件:
|
1
|
vim
/etc/elasticsearch/elasticsearch
.ym
|
主节点添加cluster以及node名称：
![wKiom1mzooOhFfJ8AABUM2aXhsQ303.jpg-wh_50]( "2017-09-09_161148.jpg")
其他节点添加cluster以及node名称(cluster命名一样，node分别命名)：
![wKioL1mz8Rzz1uTAAABhmacLRwI085.jpg-wh_50]( "2017-09-09_214731.jpg")
另一台：
![wKiom1mz8UDQWp7kAACC-fJVdqw299.jpg-wh_50]( "2017-09-09_214758.jpg")
启动elasticsearch服务：
|
1
|
service elasticsearch start
|
![wKiom1mztiujhbgPAABwnQabcvI735.jpg-wh_50]( "2017-09-09_173554.jpg")
查看监听端口：
![wKiom1mztp2ARK3PAAEyTbMaMhM432.jpg-wh_50]( "2017-09-09_173751.jpg")
通过CURL访问Elasticsearch进行检测是否正常：
|
1
|
curl -X GET
'http://127.0.0.1:9200/?pretty'
|
![wKioL1m0sUOxOBnWAACAgR-v9HU438.jpg-wh_50]( "2017-09-10_112748.jpg")
Curl访问Elasticsearch格式：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
curl -X<VERB>
'<PROTOCOL>://HOST:PORT/<PATH>?<QUERY_STRING>'
-d
'<BODY>'
VERB: GET, PUT, DELETE等；
PROTOCOL: http, https
QUERY_STRING：查询参数，例如?pretty表示用易读的JSON格式输出；
BODY: 请求的主体；
例：
curl -X GET‘http:
//127
.0.0.1:9200/?help’通过“?help”获取帮助
[root@CentOS ~]
Centos 127.0.0.1 9300 33.6m
查看集群监控状况（health）：
curl -XGET
'http://127.0.0.1:9200/_cluster/health?pretty'
查看集群状态(state):
curl -XGET
'http://127.0.0.1:9200/_cluster/state/?pretty'
查看集群节点状态(stats):
curl -XGET
'http://127.0.0.1:9200/_nodes/stats?pretty'
|
问题：
1.在启动elasticsearch的时候，内存占用过大：
由于安装的elasticsearch为5.5版本，此版本默认heap设置为2G.
可以编辑jvm.options配置文件进行设置。
![wKioL1m0qyaSaBB8AAAgp314xj0212.jpg-wh_50]( "2017-09-10_110145.jpg")
2.不能访问elasticsearch9200端口：
可以修改elasticsearch.yml配置文件，
|
1
2
|
network.host: 192.168.137.100
http.port: 9200
|
4、Elasticsearch的插件(Plugins)
Elasticsearch扩展性很强，可以通过安装插件实现功能的扩展。通过插件扩展ES功能如添加自定义的映射类型、自定义分析器、本地脚本、自定义发现方式。
Plugins的安装:
安装方式有两种：
1)直接将插件放置于/usr/share/elasticsearch/plugins目录中；
2)使用/usr/share/elasticsearch/bin/elasticsearch-plugins脚本进行安装(可以通过加参数"-h"获取帮助信息)；
例：安装x-pack
|
1
|
/usr/share/elasticsearch/bin/elasticsearch-plugin
install
x-pack
|
X-Pack是一个Elastic Stack的扩展，将安全，警报，监视，报告和图形功能包含在一个易于安装的软件包中。
在Elasticsearch 5.0.0之前，您必须安装单独的Shield，Watcher和Marvel插件才能获得在X-Pack中所有的功能。
站点插件访问格式：
|
1
|
http:
//HOST
:9200
/_plugin/
{plugin_name}
|
三、ElasticSearch的使用
1、Elasticsearch CRUD操作相关的API
1)创建文档：
|
1
2
3
4
5
6
7
|
curl -XPUT
'localhost:9200/students/class1/1?pretty'
-d '
>{
>
"first_name"
:
"fan"
,
>
"gender"
:
"male"
,
>
"age"
: 23,
>
"courses"
:
"it"
>}'
|
或
|
1
|
curl -XPUT
'localhost:9200/students/class1/1'
-d
'{ "first_name": "fan","age": 25,"sex":"male"}'
|
2)获取文档：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
curl -XGET
'localhost:9200/students/class1/1?pretty'
{
"_index"
:
"students"
,
"_type"
:
"class1"
,
"_id"
:
"1"
,
"_version"
: 1,
"found"
:
true
,
"_source"
: {
"first_name"
:
"fan"
,
"age"
: 25,
"sex"
:
"male"
}
}
|
3)更新文档（两种方法）
1.PUT方法（会覆盖原有文档）
2.如果只更新部分内容，可以使用_update API
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
curl -XPOST
'localhost:9200/students/class1/1/_update?pretty'
-d '
> {
>
"doc"
: {
"age"
: 23}
> }'
{
"_index"
:
"students"
,
"_type"
:
"class1"
,
"_id"
:
"1"
,
"_version"
: 2,
"result"
:
"updated"
,
"_shards"
: {
"total"
: 2,
"successful"
: 1,
"failed"
: 0
}
}
|
4)删除文档
删除文档指定id就可以。（删除id为3的内容）
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
curl -XDELETE
'localhost:9200/students/class1/3?pretty'
{
"found"
:
true
,
"_index"
:
"students"
,
"_type"
:
"class1"
,
"_id"
:
"3"
,
"_version"
: 4,
"result"
:
"deleted"
,
"_shards"
: {
"total"
: 2,
"successful"
: 1,
"failed"
: 0
}
}
|
在重新查找id为3的文档，结果已经删除。
![wKiom1m3psyBc4jLAABITVUOMOE261.jpg-wh_50]( "2017-09-12_171842.jpg")
5）删除索引
查看索引：(使用_cat API)
|
1
|
curl -XGET
'localhost:9200/_cat/indices?v'
|
![wKiom1m3p9HSNkjeAACNWsmLs2I684.jpg-wh_50]( "2017-09-12_172329.jpg")
删除索引:(指定索引节点即可)
|
1
2
|
curl -XDELETE
'localhost:9200/students'
{
"acknowledged"
:
true
}
|
再次查看索引:(已经删除)
![wKiom1m3qMaClpVqAABfGpZntfA625.jpg-wh_50]( "2017-09-12_172731.jpg")
2、查询数据
查询数据我们需要使用elasticsearch的"Query" API，“Query”API是elasticsearch最重要的一部分。主要用于实现搜索功能。
"Query"API通过Query DSL（JSON based language for building complex queries）来实现，Query DSL可以实现
诸多类型的查询操作，如simple term query，phrase，range boolean，fuzzy等。
ES的查询操作执行分为两个阶段：1）分散阶段 2）合并阶段：
查询方式：
向ES发起查询请求的方式有两种：
1、通过Restful request API查询，也称为query string；
2、通过发送REST request body进行；（可以查询更为复杂的查询）
例方法一查询：查询student索引下所有文档(查询较小数据文档)
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
|
[root@Centos6 ~]
{
"took"
: 1063,
"timed_out"
:
false
,
"_shards"
: {
"total"
: 5,
"successful"
: 5,
"failed"
: 0
},
"hits"
: {
"total"
: 2,
"max_score"
: 1.0,
"hits"
: [
{
"_index"
:
"students"
,
"_type"
:
"class1"
,
"_id"
:
"2"
,
"_score"
: 1.0,
"_source"
: {
"third_name"
:
"jing"
,
"age"
: 25,
"sex"
:
"female"
}
},
{
"_index"
:
"students"
,
"_type"
:
"class1"
,
"_id"
:
"1"
,
"_score"
: 1.0,
"_source"
: {
"third_name"
:
"fan"
,
"age"
: 23,
"sex"
:
"male"
}
}
]
}
}
|
例方法二查询：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
|
[root@Centos6 ~]
> {
>
"query"
: {
"match_all"
: {}}
> }'
{
"took"
: 11,
"timed_out"
:
false
,
"_shards"
: {
"total"
: 5,
"successful"
: 5,
"failed"
: 0
},
"hits"
: {
"total"
: 2,
"max_score"
: 1.0,
"hits"
: [
{
"_index"
:
"students"
,
"_type"
:
"class1"
,
"_id"
:
"2"
,
"_score"
: 1.0,
"_source"
: {
"third_name"
:
"jing"
,
"age"
: 25,
"sex"
:
"female"
}
},
{
"_index"
:
"students"
,
"_type"
:
"class1"
,
"_id"
:
"1"
,
"_score"
: 1.0,
"_source"
: {
"third_name"
:
"fan"
,
"age"
: 23,
"sex"
:
"male"
}
}
]
}
}
|
多索引、多类型查询：
/_search：所有索引；
/INDEX_NAME/_search：单索引；
/INDEX1,INDEX2/_search：多索引；
/s*,t*/_search：
/students/class1/_search：单类型搜索
/students/class1,class2/_search：多类型搜索
Mapping和Analysis:
什么是Mapping?
映射
为了能够把日期字段处理成日期，把数字字段处理成数字，把字符串字段处理成全文本（Full-text
）或精确的字符串值，Elasticsearch需要知道每个字段里面都包含了什么类型。这些类型和字段的
信息存储（包含）在映射（mapping）中。
正如《数据吞吐》一节所说，索引中每个文档都有一个类型(type)。 每个类型拥有自己的映射
(mapping)或者模式定义(schema definition)。一个映射定义了字段类型，每个字段的数据类型，以
及字段被Elasticsearch处理的方式。映射还用于设置关联到类型上的元数据。
这里只是入门。
例如，可以使用映射来定义：
字符串字段是否作为全文本搜索字段
哪些字段包含数字，日期或地理信息
文档中所有字段的值是否应该被索引到_all字段
日期值的格式
自定义规则来控制动态添加的字段的映射
映射类型与type：即一个索引中有多个type，从逻辑上对文档进行划分、每个索引有一个或多个映射
类型，类型是对Document划分的逻辑组，索引中每个文档都有一个类型(type)，每个类型拥有自己的
映射或者模式定义(schema definition) 。每个映射类型包括：
1.关联到类型上的元数据，比如：_index, _type, _id, and _source
2.字段或属性的定义，比如：字段类型，每个字段的数据类型，以及字段被ES处理的方式。
数据类型大致分类：
简单类型，比如：string, date, long, double, boolean 或 ip等
嵌套对象
特殊类型，比如：geo_point, geo_shape, 或completion等
简单来讲mapping在Elasticsearch中的作用就是约束。
Elasticsearch对每一个文档，会取得其所有域的所有值，生成一个名为“_all”的域；执行查询时，如果在query_string未指定查询的域，则在_all域上执行查询操作；
|
1
2
3
4
|
GET ...
/_search
?q=
'Xianglong'
GET ...
/_search
?q=
'Xianglong%20Shiba%20Zhang'
GET ...
/_search
?q=courses:
'Xianglong%20Shiba%20Zhang'
GET ...
/_search
?q=courses:
'Xianglong'
|
前两个：表示在_all域搜索；
后两个：在指定的域上搜索；
例子：
![wKioL1m7l33Tdg5-AAC_fdRTpD8056.jpg-wh_50]( "2017-09-15_170343.jpg")
![wKioL1m7mv3iKLPvAACiMRNjssw452.jpg-wh_50]( "2017-09-15_171837.jpg")
查看指定类型的mapping示例：
|
1
|
curl
'localhost:9200/students/_mapping/class1?pretty'
|
![wKioL1m7nfrQtn2vAACVqExZV_E308.jpg-wh_50]( "2017-09-15_173122.jpg")
什么是Analysis？
分析和分析器
分析(analysis)是这样一个过程：
首先，标记化一个文本块为适用于倒排索引单独的词(term)
然后标准化这些词为标准形式，提高它们的“可搜索性”或“查全率”
这个工作是分析器(analyzer)完成的。一个分析器(analyzer)只是一个包装用于将三个功能放到一个
包里：
功能1：字符过滤器
首先字符串经过字符过滤器(character filter)，它们的工作是在标记化前处理字符串。字符过滤器
能够去除HTML标记，或者转换"&"为"and"。
功能2：分词器
下一步，分词器(tokenizer)被标记化成独立的词。一个简单的分词器(tokenizer)可以根据空格或逗
号将单词分开（译者注：这个在中文中不适用）。
功能3：标记过滤
最后，每个词都通过所有标记过滤(token filters)，它可以修改词（例如将"Quick"转为小写），去
掉词（例如停用词像"a"、"and"、"the"等等），或者增加词（例如同义词像"jump"和"leap"）
Elasticsearch提供很多开箱即用的字符过滤器，分词器和标记过滤器。这些可以组合来创建自定义
的分析器以应对不同的需求。
内建的分析器
不过，Elasticsearch还附带了一些预装的分析器，你可以直接使用它们。下面我们列出了最重要的
几个分析器，来演示这个字符串分词后的表现差异：
"Set the shape to semi-transparent by calling set_trans(5)"
Elasticsearch内置的分析器：Standard analyzer;Simple analyzer;Whitespace analyzer;Language analyzer
标准分析器(Standard analyzer)
标准分析器是Elasticsearch默认使用的分析器。对于文本分析，它对于任何语言都是最佳选择（译
者注：就是没啥特殊需求，对于任何一个国家的语言，这个分析器就够用了）。它根据Unicode
Consortium的定义的单词边界(word boundaries)来切分文本，然后去掉大部分标点符号。最后，把
所有词转为小写。产生的结果为：
set, the, shape, to, semi, transparent, by, calling, set_trans, 5
简单分析器(Simple analyzer)
简单分析器将非单个字母的文本切分，然后把每个词转为小写。产生的结果为：
set, the, shape, to, semi, transparent, by, calling, set, trans
空格分析器(Whitespace analyze)
空格分析器依据空格切分文本。它不转换小写。产生结果为：
Set, the, shape, to, semi-transparent, by, calling, set_trans(5)
语言分析器(Language analyzer)
特定语言分析器适用于很多语言。它们能够考虑到特定语言的特性。例如，english分析器自带一套
英语停用词库——像and或the这些与语义无关的通用词。这些词被移除后，因为语法规则的存在，英
语单词的主体含义依旧能被理解（译者注：stem English words这句不知道该如何翻译，查了字典，
我理解的大概意思应该是将英语语句比作一株植物，去掉无用的枝叶，主干依旧存在，停用词好比枝
叶，存在与否并不影响对这句话的理解。）。
english分析器将会产生以下结果：
set, shape, semi, transpar, call, set_tran, 5
注意"transparent"、"calling"和"set_trans"是如何转为词干的。
分析器不仅在创建索引时用到；在构建查询时也会用到.
ElasticSearch查询语法(Query DSL)
Elasticsearch查询分为两类：
query 查询：执行full-text查询时，基于相关度来评判其匹配结果；查询执行过程复杂，且不会被缓存；
filter 查询（过滤查询）：执行exact查询时，基于其结果为“yes”或“no”进行评判；速度快，且结果缓存；
查询语句的结构：
全文查询：
|
1
2
3
4
5
6
|
{
QUERY_NAME: {
AGGUMENT: VALUE,
ARGUMENT: VALUE,...
}
}
|
某个字段上查询：
|
1
2
3
4
5
6
7
|
{
QUERY_NAME: {
FIELD_NAME: {
ARGUMENT: VALUE,...
}
}
}
|
filter 查询：
term filter：精确匹配包含指定term的文档；{ "term": {"name": "Guo"} }
|
1
2
3
4
5
6
7
8
|
[root@CentOS ~]
> {
>
"query"
:{
>
"term"
: {
>
"name"
:
"fan"
> }
> }
> }'
|
结果：
![wKioL1m7qOGypWpfAAB9XEpPTVk210.jpg-wh_50]( "2017-09-15_181735.jpg")
terms filter：用于多值精确匹配；{ "terms": { "name": ["Guo", "Rong"] }}
|
1
2
3
4
5
6
7
8
|
[root@CentOS ~]
{
"query"
:{
"terms"
: {
"name"
:[
"fan"
,
"jing"
]
}
}
}'
|
结果：
![wKioL1m7qsijDfdfAACR-r00HcU542.jpg-wh_50]( "2017-09-15_182602.jpg")
range filters：用于在指定的范围内查找数值或时间；
|
1
2
3
4
5
6
|
{
"range"
:
"age"
: {
"gte"
: 15,
"lte"
: 25
}
}
|
范围比较字符：gt（大于）, lt（小于）, gte（大于等于）, lte（小于等于）
exists and missing filters：存在或者不存在；
|
1
2
3
4
5
|
{
"exists"
: {
"age"
: 25
}
}
|
boolean filter：
基于boolean的逻辑来合并多个filter子句；
must：其内部所有的子句条件必须同时匹配，即and；
|
1
2
3
4
|
must: {
"term"
: {
"age"
: 25 }
"term"
: {
"gender"
:
"Female"
}
}
|
must_not：其所有子句必须不匹配，即not
|
1
2
3
|
must_not: {
"term"
: {
"age"
: 25 }
}
|
should：至少有一个子句匹配，即or
|
1
2
3
4
|
should: {
"term"
: {
"age"
: 25 }
"term"
: {
"gender"
:
"Female"
}
}
|
QUERY 查询：
match_all Query：用于匹配所有文档，没有指定任何query，默认即为match_all query.
match Query：在几乎任何域上执行full-text或exact-value查询；
如果执行full-text查询：首先对查询时的语句做分析；
|
1
|
{
"match"
: {
"students"
:
"Guo"
}}
|
如果执行exact-value查询：搜索精确值；此时，建议使用过滤，而非查询；
|
1
|
{
"match"
: {
"name"
:
"Guo"
} }
|
multi_match Query：用于在多个域上执行相同的查询；
|
1
|
<span style=
"font-family:'微软雅黑', 'Microsoft YaHei';font-size:14px;"
>{<br>
"multi_match"
:<br>
"query"
: full-text search<br>
"field"
: {
'field1'
,
'field2'
}<br>}<br>{<br>
"multi_match"
:<br>
"query"
: {<br>
"students"
:
"Guo"
<br>}<br>
"field"
:<br>{<br>
"name"
,<br>
"description"
<br>}<br>}<
/span
><br>
|
bool query：
基于boolean逻辑合并多个查询语句；与bool filter不同的是，查询子句不是返回"yes"或"no"，而是其计算出的匹配度分值。因此，boolean Query会为各子句合并其score；
关键词：must： must_not： should：
合并filter和query查询语句（组合查询）：
一般来讲可以filter语句嵌套到query语句用来过滤，但很少把query语句嵌套到filter语句上。
|
1
|
<span style=
"font-family:'微软雅黑', 'Microsoft YaHei';font-size:14px;"
>{<br>
"filterd"
: {<br>query: {
"match"
: {
"gender"
:
"Female"
} }<br>filter: {
"term"
: {
"age"
: 25}}<br>}<br>}<
/span
><br>
|
查询语句语法检查：
|
1
2
3
4
|
GET
/INDEX/_validate/query
?pretty
{
}
|
例子：
|
1
|
curl -XGET
'localhost:9200/students/_validate/query?pretty'
-d
'{"query": {"term": {"name": "fan"}}}'
|
![wKioL1m8zaWiKcpMAABTWZxulgs124.jpg-wh_50]( "2017-09-16_150704.jpg")
如果想获取详细信息，可以使用以下格式：
|
1
2
3
4
|
GET
/INDEX/_validate/query
?explain&pretty
{
}
|
例子：
|
1
|
curl -XGET
'localhost:9200/students/_validate/query?explain&pretty'
-d
'{"query": {"term": {"name": "fan"}}}'
|
![wKiom1m8zpnQu0FCAACNwpEq4p8200.jpg-wh_50]( "2017-09-16_151024.jpg")
