@[toc] ElasticSearch 系列教程我们前面已经连着发了三篇了，今天第四篇，我们来聊一聊 Es 中的动态映射、静态映射以及四种不同的字段类型。
本文是松哥所录视频教程的一个笔记，笔记简明扼要，完整内容小伙伴们可以参考视频，视频下载链接：https://pan.baidu.com/s/1oKiV7FRkppZnMAmRGNNrGg 提取码: p3sx
![]()
1.ElasticSearch 映射
映射就是 Mapping，它用来定义一个文档以及文档所包含的字段该如何被存储和索引。所以，它其实有点类似于关系型数据库中表的定义。
1.1 映射分类
动态映射
顾名思义，就是自动创建出来的映射。es 根据存入的文档，自动分析出来文档中字段的类型以及存储方式，这种就是动态映射。
举一个简单例子，新建一个索引，然后查看索引信息：
![image-20201106201219878]()
在创建好的索引信息中，可以看到，mappings 为空，这个 mappings 中保存的就是映射信息。
现在我们向索引中添加一个文档，如下：
PUT blog/_doc/1
{
"title":"1111",
"date":"2020-11-11"
}
文档添加成功后，就会自动生成 Mappings：
![image-20201106201516427]()
可以看到，date 字段的类型为 date，title 的类型有两个，text 和 keyword。
默认情况下，文档中如果新增了字段，mappings 中也会自动新增进来。
有的时候，如果希望新增字段时，能够抛出异常来提醒开发者，这个可以通过 mappings 中 dynamic 属性来配置。
dynamic 属性有三种取值：
- true，默认即此。自动添加新字段。
- false，忽略新字段。
- strict，严格模式，发现新字段会抛出异常。
具体配置方式如下，创建索引时指定 mappings（这其实就是静态映射）：
PUT blog
{
"mappings": {
"dynamic":"strict",
"properties": {
"title":{
"type": "text"
},
"age":{
"type":"long"
}
}
}
}
然后向 blog 中索引中添加数据：
PUT blog/_doc/2
{
"title":"1111",
"date":"2020-11-11",
"age":99
}
在添加的文档中，多出了一个 date 字段，而该字段没有预定义，所以这个添加操作就回报错：
{
"error" : {
"root_cause" : [
{
"type" : "strict_dynamic_mapping_exception",
"reason" : "mapping set to strict, dynamic introduction of [date] within [_doc] is not allowed"
}
],
"type" : "strict_dynamic_mapping_exception",
"reason" : "mapping set to strict, dynamic introduction of [date] within [_doc] is not allowed"
},
"status" : 400
}
动态映射还有一个日期检测的问题。
例如新建一个索引，然后添加一个含有日期的文档，如下：
PUT blog/_doc/1
{
"remark":"2020-11-11"
}
添加成功后，remark 字段会被推断是一个日期类型。
![image-20201106203240406]()
此时，remark 字段就无法存储其他类型了。
PUT blog/_doc/1
{
"remark":"javaboy"
}
此时报错如下：
{
"error" : {
"root_cause" : [
{
"type" : "mapper_parsing_exception",
"reason" : "failed to parse field [remark] of type [date] in document with id '1'. Preview of field's value: 'javaboy'"
}
],
"type" : "mapper_parsing_exception",
"reason" : "failed to parse field [remark] of type [date] in document with id '1'. Preview of field's value: 'javaboy'",
"caused_by" : {
"type" : "illegal_argument_exception",
"reason" : "failed to parse date field [javaboy] with format [strict_date_optional_time||epoch_millis]",
"caused_by" : {
"type" : "date_time_parse_exception",
"reason" : "Failed to parse with all enclosed parsers"
}
}
},
"status" : 400
}
要解决这个问题，可以使用静态映射，即在索引定义时，将 remark 指定为 text 类型。也可以关闭日期检测。
PUT blog
{
"mappings": {
"date_detection": false
}
}
此时日期类型就回当成文本来处理。
静态映射
略。
1.2 类型推断
es 中动态映射类型推断方式如下：
| JSON 中的数据 |
自动推断出来的数据类型 |
| null |
没有字段被添加 |
| true/false |
boolean |
| 浮点数字 |
float |
| 数字 |
long |
| JSON 对象 |
object |
| 数组 |
数组中的第一个非空值来决定 |
| string |
text/keyword/date/double/long 都有可能 |
2.ElasticSearch 字段类型
2.1 核心类型
2.1.1 字符串类型
- string：这是一个已经过期的字符串类型。在 es5 之前，用这个来描述字符串，现在的话，它已经被 text 和 keyword 替代了。
- text：如果一个字段是要被全文检索的，比如说博客内容、新闻内容、产品描述，那么可以使用 text。用了 text 之后，字段内容会被分析，在生成倒排索引之前，字符串会被分词器分成一个个词项。text 类型的字段不用于排序，很少用于聚合。这种字符串也被称为 analyzed 字段。
- keyword：这种类型适用于结构化的字段，例如标签、email 地址、手机号码等等，这种类型的字段可以用作过滤、排序、聚合等。这种字符串也称之为 not-analyzed 字段。
2.1.2 数字类型
| 类型 |
取值范围 |
| long |
-2^63到2^63-1 |
| integer |
-2^31到2^31-1 |
| short |
-2^15到2^15-1 |
| byte |
-2^7到2^7-1 |
| double |
64 位的双精度 IEEE754 浮点类型 |
| float |
32 位的双精度 IEEE754 浮点类型 |
| half_float |
16 位的双精度 IEEE754 浮点类型 |
| scaled_float |
缩放类型的浮点类型 |
- 在满足需求的情况下，优先使用范围小的字段。字段长度越短，索引和搜索的效率越高。
- 浮点数，优先考虑使用 scaled_float。
scaled_float 举例：
PUT product
{
"mappings": {
"properties": {
"name":{
"type": "text"
},
"price":{
"type": "scaled_float",
"scaling_factor": 100
}
}
}
}
2.1.3 日期类型
由于 JSON 中没有日期类型，所以 es 中的日期类型形式就比较多样：
- 2020-11-11 或者 2020-11-11 11:11:11
- 一个从 1970.1.1 零点到现在的一个秒数或者毫秒数。
es 内部将时间转为 UTC，然后将时间按照 millseconds-since-the-epoch 的长整型来存储。
自定义日期类型：
PUT product
{
"mappings": {
"properties": {
"date":{
"type": "date"
}
}
}
}
这个能够解析出来的时间格式比较多。
PUT product/_doc/1
{
"date":"2020-11-11"
}
PUT product/_doc/2
{
"date":"2020-11-11T11:11:11Z"
}
PUT product/_doc/3
{
"date":"1604672099958"
}
上面三个文档中的日期都可以被解析，内部存储的是毫秒计时的长整型数。
2.1.4 布尔类型（boolean）
JSON 中的 “true”、“false”、true、false 都可以。
2.1.5 二进制类型（binary）
二进制接受的是 base64 编码的字符串，默认不存储，也不可搜索。
2.1.6 范围类型
- integer_range
- float_range
- long_range
- double_range
- date_range
- ip_range
定义的时候，指定范围类型即可：
PUT product
{
"mappings": {
"properties": {
"date":{
"type": "date"
},
"price":{
"type":"float_range"
}
}
}
}
插入文档的时候，需要指定范围的界限：
PUT product
{
"mappings": {
"properties": {
"date":{
"type": "date"
},
"price":{
"type":"float_range"
}
}
}
}
指定范围的时，可以使用 gt、gte、lt、lte。
2.2 复合类型
2.2.1 数组类型
es 中没有专门的数组类型。默认情况下，任何字段都可以有一个或者多个值。需要注意的是，数组中的元素必须是同一种类型。
添加数组是，数组中的第一个元素决定了整个数组的类型。
2.2.2 对象类型（object）
由于 JSON 本身具有层级关系，所以文档包含内部对象。内部对象中，还可以再包含内部对象。
PUT product/_doc/2
{
"date":"2020-11-11T11:11:11Z",
"ext_info":{
"address":"China"
}
}
2.2.3 嵌套类型（nested）
nested 是 object 中的一个特例。
如果使用 object 类型，假如有如下一个文档：
{
"user":[
{
"first":"Zhang",
"last":"san"
},
{
"first":"Li",
"last":"si"
}
]
}
由于 Lucene 没有内部对象的概念，所以 es 会将对象层次扁平化，将一个对象转为字段名和值构成的简单列表。即上面的文档，最终存储形式如下：
{
"user.first":["Zhang","Li"],
"user.last":["san","si"]
}
扁平化之后，用户名之间的关系没了。这样会导致如果搜索 Zhang si 这个人，会搜索到。
此时可以 nested 类型来解决问题，nested 对象类型可以保持数组中每个对象的独立性。nested 类型将数组中的每一饿对象作为独立隐藏文档来索引，这样每一个嵌套对象都可以独立被索引。
{
{
"user.first":"Zhang",
"user.last":"san"
},{
"user.first":"Li",
"user.last":"si"
}
}
优点
文档存储在一起，读取性能高。
缺点
更新父或者子文档时需要更新更个文档。
2.3 地理类型
使用场景：
- 查找某一个范围内的地理位置
- 通过地理位置或者相对中心点的距离来聚合文档
- 把距离整个到文档的评分中
- 通过距离对文档进行排序
2.3.1 geo_point
geo_point 就是一个坐标点，定义方式如下：
PUT people
{
"mappings": {
"properties": {
"location":{
"type": "geo_point"
}
}
}
}
创建时指定字段类型，存储的时候，有四种方式：
PUT people/_doc/1
{
"location":{
"lat": 34.27,
"lon": 108.94
}
}
PUT people/_doc/2
{
"location":"34.27,108.94"
}
PUT people/_doc/3
{
"location":"uzbrgzfxuzup"
}
PUT people/_doc/4
{
"location":[108.94,34.27]
}
注意，使用数组描述，先经度后纬度。
地址位置转 geo_hash：http://www.csxgame.top/#/
2.3.2 geo_shape
| GeoJSON |
ElasticSearch |
备注 |
| Point |
point |
一个由经纬度描述的点 |
| LineString |
linestring |
一个任意的线条，由两个以上的点组成 |
| Polygon |
polygon |
一个封闭多边形 |
| MultiPoint |
multipoint |
一组不连续的点 |
| MultiLineString |
multilinestring |
多条不关联的线 |
| MultiPolygon |
multipolygon |
多个多边形 |
| GeometryCollection |
geometrycollection |
几何对象的集合 |
|
circle |
一个圆形 |
|
envelope |
通过左上角和右下角两个点确定的矩形 |
指定 geo_shape 类型：
PUT people
{
"mappings": {
"properties": {
"location":{
"type": "geo_shape"
}
}
}
}
添加文档时需要指定具体的类型：
PUT people/_doc/1
{
"location":{
"type":"point",
"coordinates": [108.94,34.27]
}
}
如果是 linestring，如下：
PUT people/_doc/2
{
"location":{
"type":"linestring",
"coordinates": [[108.94,34.27],[100,33]]
}
}
2.4 特殊类型
2.4.1 IP
存储 IP 地址，类型是 ip：
PUT blog
{
"mappings": {
"properties": {
"address":{
"type": "ip"
}
}
}
}
添加文档：
PUT blog/_doc/1
{
"address":"192.168.91.1"
}
搜索文档：
GET blog/_search
{
"query": {
"term": {
"address": "192.168.0.0/16"
}
}
}
2.4.2 token_count
用于统计字符串分词后的词项个数。
PUT blog
{
"mappings": {
"properties": {
"title":{
"type": "text",
"fields": {
"length":{
"type":"token_count",
"analyzer":"standard"
}
}
}
}
}
}
相当于新增了 title.length 字段用来统计分词后词项的个数。
添加文档：
PUT blog/_doc/1
{
"title":"zhang san"
}
可以通过 token_count 去查询：
GET blog/_search
{
"query": {
"term": {
"title.length": 2
}
}
}
最后，松哥还搜集了 50+ 个项目需求文档，想做个项目练练手的小伙伴不妨看看哦～
![]()
![]()
![]()
需求文档地址：https://github.com/lenve/javadoc
